4 个月前

MemSum:使用多步情景马尔可夫决策过程提取长文档摘要

MemSum:使用多步情景马尔可夫决策过程提取长文档摘要

摘要

我们介绍了一种基于强化学习的抽取式摘要生成器MemSum(多步情景马尔可夫决策过程抽取式摘要生成器),该生成器在每一步中都会结合当前提取历史的信息进行丰富。当MemSum迭代选择句子加入摘要时,它会考虑一个广泛的信息集,这些信息集在人类执行此任务时也会直观地被使用:1)句子的内容,2)文档其余部分的全局上下文,以及3)由已提取句子组成的提取历史。通过轻量级架构,MemSum在从PubMed、arXiv和GovReport获取的长文档摘要生成中取得了最先进的测试集性能(ROUGE)。消融研究表明了局部、全局和历史信息的重要性。人工评估确认了生成摘要的高质量和低冗余性,这得益于MemSum对提取历史的感知能力。

代码仓库

nianlonggu/memsum
官方
pytorch

基准测试

基准方法指标
extractive-text-summarization-on-govreportMemSum (extractive)
Avg. Test Rouge1: 59.43
Avg. Test Rouge2: 28.60
Avg. Test RougeLsum: 56.69
text-summarization-on-arxivMemSum (extractive)
ROUGE-1: 48.42
ROUGE-2: 20.30
ROUGE-L: 42.54
text-summarization-on-pubmed-1MemSum (extractive)
ROUGE-1: 49.25
ROUGE-2: 22.94
ROUGE-L: 44.42

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
MemSum:使用多步情景马尔可夫决策过程提取长文档摘要 | 论文 | HyperAI超神经