摘要

配备梯度惩罚的摘要生成模型能够有效避免过拟合，提升模型稳定性。然而，传统的梯度惩罚方法存在两个问题：（i）需两次计算梯度，导致训练时间增加；（ii）扰动因子需通过反复试验才能确定最优值。为此，我们提出一种基于相似性计算的分步梯度惩罚模型（S2SGP）。首先，采用分步梯度惩罚机制应用于摘要生成模型，在不牺牲准确率的前提下显著缩短了训练时间；其次，引入参考摘要与候选摘要之间的相似性得分作为扰动因子，避免了对最优扰动值的反复试错。为验证所提方法的有效性，我们在四个摘要生成数据集上进行了实验，其中EDUSum数据集由我们新构建。实验结果表明，S2SGP显著降低了训练时间，且扰动因子无需反复调参。尤其在CSL数据集上的测试中，我们的模型相比基线方法在ROUGE-L指标上提升了超过2.4分。