3 个月前

基于分层注意力异构图网络的神经抽取式摘要

基于分层注意力异构图网络的神经抽取式摘要

摘要

句子级抽取式文本摘要本质上是网络挖掘中的节点分类任务,其核心在于保留信息丰富的内容并生成简洁的表达形式。然而,在提取出的句子之间往往存在大量冗余短语,而传统的监督学习方法难以精确建模此类冗余关系。以往的句子编码器,尤其是BERT,擅长捕捉源句之间的语义关联,却无法有效考虑目标摘要中句子之间的重叠现象,且句子的目标标签之间存在固有的依赖关系。为此,本文提出HAHSum(Hierarchical Attentive Heterogeneous Graph for Text Summarization,即面向文本摘要的分层注意力异构图模型),该模型能够有效建模词与句子等多个层次的信息,并突出句子之间的冗余依赖关系。我们的方法通过冗余感知图结构迭代优化句子表示,并利用消息传递机制显式建模标签间的依赖关系。在大规模基准数据集(CNN/DM、NYT 和 NEWSROOM)上的实验表明,HAHSum取得了突破性性能,显著优于现有的抽取式摘要模型。

基准测试

基准方法指标
extractive-document-summarization-on-cnnHAHSum
ROUGE-1: 44.68
ROUGE-2: 21.30
ROUGE-L: 40.75

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于分层注意力异构图网络的神经抽取式摘要 | 论文 | HyperAI超神经