摘要

在本工作中，我们提出了一种信息论框架，将跨语言语言模型预训练建模为最大化多语言、多粒度文本之间的互信息。这一统一视角有助于我们更深入地理解现有跨语言表示学习方法的本质。更重要的是，受该框架的启发，我们提出了一种基于对比学习的新预训练任务。具体而言，我们将双语句子对视为同一语义的两个视角，促使它们的编码表示彼此更加相似，而与负样本则尽可能不同。通过联合利用单语语料和双语平行语料，我们共同训练这些预训练任务，从而提升预训练模型的跨语言迁移能力。在多个基准数据集上的实验结果表明，所提方法显著优于现有方法。相关代码与预训练模型已公开，可访问 https://aka.ms/infoxlm。