摘要

我们提出PRIMERA，一种面向多文档摘要任务的预训练模型，旨在减少对特定数据集架构以及大量标注微调数据的依赖。PRIMERA采用我们新提出的预训练目标，旨在教会模型在不同文档之间建立关联并整合信息。同时，该模型利用高效的编码器-解码器Transformer结构，简化对拼接输入文档的处理流程。在涵盖三个不同领域的6个多文档摘要数据集上，PRIMERA在零样本（zero-shot）、少样本（few-shot）及全监督（full-supervised）等多种设置下进行了广泛实验，结果表明其在大多数设置下均显著优于当前主流的特定数据集模型及预训练模型。代码与预训练模型已开源，可访问 https://github.com/allenai/PRIMER 获取。