HyperAIHyperAI

Command Palette

Search for a command to run...

层次结构自注意力模型在抽取式文档摘要中的应用(HSSAS)

KAMAL AL-SABAHI ZHANG ZUPING MOHAMMED NADHER

摘要

近期在神经网络架构和训练算法方面的进展已经证明了表示学习的有效性。基于神经网络的模型生成的表示比传统模型更为优越。它们具有自动学习句子和文档分布式表示的能力。为此,我们提出了一种新颖的模型,该模型解决了先前提出的模型未能充分建模的几个问题,如记忆问题和文档结构知识的融合。我们的模型采用了一种分层结构的自注意力机制来创建句子和文档嵌入。这种架构反映了文档的层次结构,从而使得我们能够获得更好的特征表示。注意力机制为摘要提取提供了额外的信息来源。新模型将摘要任务视为一个分类问题,其中模型计算每个句子属于摘要的概率。模型预测结果由多个特征分解而成,包括信息含量、显著性、新颖性和位置表示。所提出的模型在两个知名数据集上进行了评估:CNN/Daily Mail 和 DUC 2002。实验结果显示,我们的模型在提取式摘要任务上显著优于当前最先进的方法。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
层次结构自注意力模型在抽取式文档摘要中的应用(HSSAS) | 论文 | HyperAI超神经