摘要

复制机制在抽象摘要生成任务中取得了显著成功，使模型能够直接从输入文本中复制词汇到输出摘要中。现有方法大多采用编码器-解码器注意力机制，在每个时间步独立执行复制操作，而未考虑先前步骤的复制行为。然而，这种独立处理方式有时会导致复制不完整。本文提出一种新型复制机制——相关性复制网络（Correlational Copying Network, CoCoNet），通过追踪复制历史来增强标准复制机制。该方法能够利用先前的复制分布信息，并在每个时间步显式鼓励模型复制与前一已复制词具有语义关联的输入词。此外，我们通过在模拟复制行为的合适语料上进行预训练，进一步强化了CoCoNet的性能。实验结果表明，CoCoNet能够实现更准确的复制，并在多个摘要基准测试中取得新的最先进性能，涵盖新闻摘要任务（CNN/DailyMail）和对话摘要任务（SAMSum）。代码与模型检查点将公开发布。