摘要

当前主流的神经机器翻译模型基于编码器-解码器结构，其中许多模型依赖于源序列和目标序列上的无约束感受野。本文研究了一种打破这两种惯例的新架构。我们提出的简化架构仅包含变压器模型的解码器部分，该部分基于自注意力机制，但在注意力感受野上施加了局部性约束。在训练过程中，源句和目标句都被输入到网络中，网络被训练为语言模型。在推理阶段，从源序列开始，以自回归的方式预测目标标记。所提出的模型在IWSLT'14德英翻译任务上达到了35.7 BLEU的新纪录，并且在WMT'14英德和WMT'14英法翻译基准测试中匹配了文献中报告的最佳结果。