摘要

本文提出了一种新型的序列到序列预训练模型——ProphetNet，该模型引入了一种新颖的自监督目标函数——未来n元语法预测（future n-gram prediction），并提出了n路自注意力机制（n-stream self-attention mechanism）。与传统序列到序列模型仅优化单步预测不同，ProphetNet通过多步预测方式进行优化，即在每个时间步上同时预测接下来的n个词元（tokens），其依据是先前的上下文词元。这种未来n元语法预测机制显式地促使模型对未来词元进行规划，从而有效缓解了对局部强相关性的过拟合问题。我们分别使用一个基础规模的数据集（16GB）和一个大规模数据集（160GB）对ProphetNet进行了预训练。随后，我们在CNN/DailyMail、Gigaword以及SQuAD 1.1三个基准数据集上，针对抽象摘要生成和问题生成任务进行了实验。实验结果表明，相较于使用相同规模预训练语料库的其他模型，ProphetNet在所有这些数据集上均取得了新的最先进（state-of-the-art）性能。