摘要

现有的神经机器翻译方法在生成每个输出词时都会依赖于之前生成的输出。我们提出了一种模型，该模型避免了这种自回归特性，并能够并行产生输出，从而在推理过程中将延迟降低一个数量级。通过知识蒸馏、将输入标记的生育率作为潜在变量以及策略梯度微调，我们在相对于用作教师的自回归Transformer网络的情况下，仅以最多2.0个BLEU分的代价实现了这一点。我们展示了与训练策略中这三个方面相关的显著累积改进，并在IWSLT 2016英德翻译任务和两个WMT语言对上验证了我们的方法。通过在推理时并行采样生育率，我们的非自回归模型在WMT 2016英罗翻译任务上达到了接近最先进水平的29.8 BLEU分。