摘要

图像-标题配对与翻译对均提供了学习语言深层表示及其之间关联性的有效途径。在MURAL（MUltimodal, MUltitask Representations Across Languages）模型中，我们同时利用这两种配对形式，构建了一个双编码器架构，用于解决两个任务：1）图像-文本匹配；2）翻译对匹配。通过引入数十亿级别的翻译对，MURAL在ALIGN（Jia 等人，PMLR'21）的基础上进行了扩展——ALIGN是基于18亿条噪声图像-文本对训练出的当前最先进双编码器。在使用相同编码器的情况下，MURAL在多个数据集上对资源丰富语言的跨模态检索性能达到或超过了ALIGN的水平。更重要的是，MURAL显著提升了对资源匮乏语言的性能表现，表明文本-文本学习能够有效弥补这些语言中图像-标题样本不足的问题。例如，在Wikipedia Image-Text数据集上，MURAL-base模型在八种资源匮乏语言上的零样本平均召回率提升了8.1%，在微调后平均提升达6.8%。此外，我们还发现，MURAL所生成的文本表示不仅在谱系语言关系上呈现出良好的聚类特性，还能够基于区域语言学特征（如巴尔干语言联盟，Balkan Sprachbund）实现有意义的聚类。