摘要

序列到序列神经网络在抽取式摘要任务中近年来取得了显著进展，尤其通过在下游数据集上微调大规模预训练语言模型实现。这类模型通常采用束搜索（beam search）进行解码，以生成唯一的摘要。然而，搜索空间极为庞大，且受暴露偏差（exposure bias）影响，此类解码方式并非最优。本文提出，可直接训练一个第二阶段模型，对一组候选摘要进行重排序。我们提出的专家混合模型 SummaReranker 能够学习选择更优的摘要候选，从而持续提升基础模型的性能。在以 PEGASUS 为基础模型的前提下，我们在 CNN-DailyMail 数据集上将 ROUGE 分数提升 5.44%（ROUGE-1 达 47.16），在 XSum 数据集上提升 1.31%（ROUGE-1 达 48.12），在 Reddit TIFU 数据集上提升 9.34%（ROUGE-1 达 29.83），达到当前最先进的性能水平。相关代码与模型检查点将公开于 https://github.com/ntunlp/SummaReranker。