摘要
我们对大规模摘要数据集的分析表明，在摘要长文档时，冗余问题极为严重。然而，冗余减少在神经网络摘要任务中尚未得到充分研究。在本工作中，我们系统地探索并比较了处理长文档摘要中冗余问题的多种方法。具体而言，我们根据冗余被考虑的时间和方式，将现有方法进行了分类。在此分类框架下，我们提出了三种新的方法，能够以一种通用且灵活的方式平衡非冗余性与重要性。在一系列实验中，我们的方法在两个科学论文数据集（Pubmed 和 arXiv）上均取得了当前最优的 ROUGE 得分，同时显著降低了摘要中的冗余程度。
代码仓库
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| text-summarization-on-arxiv | ExtSum-LG+RdLoss | ROUGE-1: 44.01 ROUGE-2: 17.79 ROUGE-L: 39.09 |
| text-summarization-on-arxiv | ExtSum-LG+MMR-Select+ | ROUGE-1: 43.87 ROUGE-2: 17.5 ROUGE-L: 38.97 |
| text-summarization-on-pubmed-1 | ExtSum-LG+MMR-Select+ | ROUGE-1: 45.39 ROUGE-2: 20.37 ROUGE-L: 40.99 |
| text-summarization-on-pubmed-1 | ExtSum-LG+RdLoss | ROUGE-1: 45.3 ROUGE-2: 20.42 ROUGE-L: 40.95 |