摘要

在本工作中，我们提出一种新颖的局部自回归翻译（Local Autoregressive Translation, LAT）机制，并将其引入非自回归翻译（Non-Autoregressive Translation, NAT）模型中，以捕捉目标输出之间的局部依赖关系。具体而言，对于每个目标端解码位置，我们不再仅预测单一词元，而是以自回归方式预测一个短序列的词元。为进一步实现输出整合，我们设计了一种高效的合并算法，用于对生成的输出片段进行对齐与合并，最终形成完整的输出序列。我们将LAT机制集成到条件掩码语言模型（Conditional Masked Language Model, CMLM；Ghazvininejad et al., 2019）框架中，并采用类似的迭代解码策略。在五个翻译任务上的实验结果表明，与CMLM相比，我们的方法在保持相当或更优性能的同时，显著减少了解码迭代次数，实现了2.5倍的加速。进一步分析显示，该方法有效降低了重复翻译现象，并在长句翻译任务中表现更优。