摘要

文本与图像之间存在共享的语义信息。给定一种源语言的句子，借助视觉场景描述是否有助于其翻译成目标语言？现有的多模态神经机器翻译方法（MNMT）在训练时需要双语句子-图像三元组，推理时也需要源句子-图像的组合。本文提出 ImagiT，一种通过视觉想象实现的新型机器翻译方法。ImagiT 首先学习从源语言句子生成视觉表征，然后结合源句子与“想象出的视觉表征”来生成目标语言翻译结果。与以往方法不同，ImagiT 在推理阶段仅需源句子即可完成翻译。实验结果表明，ImagiT 通过视觉想象显著提升了翻译性能，明显优于仅依赖文本的神经机器翻译基线模型。进一步分析发现，ImagiT 中的想象过程在执行退化策略（degradation strategy）时，有助于补全缺失的信息。