HyperAIHyperAI

Command Palette

Search for a command to run...

凸聚合用于观点总结

Hayate Iso Xiaolan Wang Yoshihiko Suhara Stefanos Angelidis Wang-Chiew Tan

摘要

近期在文本自编码器领域的进展显著提升了潜在空间的质量,这使得模型能够从聚合的潜在向量中生成语法正确且连贯的文本。作为这一特性的成功应用之一,无监督观点摘要模型通过解码输入的聚合潜在向量来生成摘要。具体而言,它们通过简单的平均方法进行聚合。然而,关于向量聚合步骤如何影响生成质量的研究较少。在本研究中,我们重新审视了常用的简单平均方法,通过检查潜在空间和生成的摘要来探讨其影响。我们发现,由于聚合后的潜在向量中出现了意外的L2L_2L2范数收缩(我们称之为摘要向量退化),文本自编码器倾向于从简单平均的潜在向量中生成过于泛化的摘要。为了解决这一问题,我们开发了一个框架Coop,该框架利用输入输出词汇重叠来搜索用于潜在向量聚合的输入组合。实验结果表明,Coop成功缓解了摘要向量退化的问题,并在两个观点摘要基准测试中取得了新的最先进性能。代码可在\url{https://github.com/megagonlabs/coop}获取


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
凸聚合用于观点总结 | 论文 | HyperAI超神经