摘要

双向编码器表示模型（BERT）代表了预训练语言模型的最新进展，这些模型最近在广泛的自然语言处理任务中取得了显著进步。本文展示了如何将 BERT 有效应用于文本摘要，并提出了一种适用于抽取式和生成式模型的通用框架。我们引入了一种基于 BERT 的新型文档级编码器，该编码器能够表达文档的语义并为其句子获得表示。我们的抽取式模型在此编码器的基础上构建，通过堆叠多个跨句 Transformer 层来实现。对于生成式摘要，我们提出了一种新的微调策略，该策略为编码器和解码器采用不同的优化器，以缓解两者之间的不匹配问题（前者已进行预训练而后者未进行）。我们还证明了两阶段微调方法可以进一步提高生成摘要的质量。在三个数据集上的实验表明，我们的模型在抽取式和生成式设置中均达到了最先进的效果。我们的代码可在 https://github.com/nlpyang/PreSumm 获取。