摘要

我们介绍了一种多模态神经机器翻译模型，该模型通过预训练的卷积神经网络获取的空间视觉特征，自然地将其融入到图像描述和翻译之间，弥合了这两者之间的差距。我们的解码器在生成目标语言词汇时，通过两个独立的注意力机制分别学习关注源语言单词和图像的部分区域。研究发现，我们的模型不仅能够高效利用反向翻译的领域内多模态数据，还能充分利用大规模的一般领域纯文本机器翻译语料库。此外，我们在Multi30k数据集上报告了当前最先进的结果。