摘要

目前主流的序列转换模型均基于复杂的循环神经网络或卷积神经网络，并采用编码器-解码器结构。表现最优的模型还通过注意力机制将编码器与解码器连接起来。本文提出一种全新的、简单的网络架构——Transformer，该架构仅依赖于注意力机制，完全摒弃了循环结构和卷积操作。在两项机器翻译任务上的实验表明，该模型在翻译质量上优于现有方法，同时具备更强的并行化能力，训练时间显著减少。在WMT 2014英德翻译任务中，我们的模型取得了28.4的BLEU分数，较现有最优结果（包括集成模型）提升了超过2个BLEU分数。在WMT 2014英法翻译任务中，经过在八块GPU上训练3.5天，该模型达到了41.8的单模型BLEU分数，创下新的最优纪录，而训练成本仅为文献中最佳模型的极小部分。此外，我们通过在大规模和小规模训练数据下成功应用于英语句法成分分析任务，证明了Transformer模型在其他任务上也具有良好的泛化能力。