摘要

在这项工作中，我们提出通过潜在变量模型来建模视觉特征和文本特征之间的交互，以实现多模态神经机器翻译（MMT）。该潜在变量可以被视为图像及其外语描述的多模态随机嵌入。它不仅用于目标语言解码器中，还用于预测图像特征。重要的是，我们的模型在训练过程中利用了视觉和文本输入，但在测试时并不需要图像的存在。我们展示了我们的潜在变量 MMT 模型显著优于强大的基线模型，包括多任务学习方法（Elliott 和 Kádár, 2017）和条件变分自编码器方法（Toyama 等, 2016）。最后，我们证明了以下几点改进：(i) 不仅基于图像特征进行条件化，还预测这些特征；(ii) 对潜在变量中编码的最小信息量施加约束；(iii) 使用额外的目标语言图像描述数据（即合成数据）进行训练。