摘要

多模态机器翻译（MMT）通过引入视觉信息提升了翻译质量。然而，现有的MMT模型忽视了图像可能携带与文本无关信息的问题，导致模型受到大量噪声干扰，进而影响翻译性能。本文提出一种新颖的Gumbel-Attention机制，用于多模态机器翻译，该机制能够自动筛选出与文本相关联的图像特征部分。具体而言，与以往基于注意力机制的方法不同，本文首先采用一种可微分的方法对图像信息进行选择，自动剔除图像特征中无用的部分。实验结果表明，该方法有效保留了与文本相关的图像特征，剩余的特征有助于提升MMT模型的翻译效果。