摘要

我们提出了一种架构，用于学习93种语言的联合多语言句子表示，这些语言属于30多个不同的语系并使用28种不同的书写系统。我们的系统采用单一的双向长短期记忆（BiLSTM）编码器，所有语言共享一个字节对编码（BPE）词汇表，并结合辅助解码器在公开可用的平行语料库上进行训练。这使得我们能够在仅使用英语注释数据的情况下，在生成的嵌入向量之上学习分类器，并将其无修改地迁移到93种语言中的任何一种。我们在跨语言自然语言推理（XNLI数据集）、跨语言文档分类（MLDoc数据集）和平行语料库挖掘（BUCC数据集）上的实验表明了该方法的有效性。我们还引入了一个包含112种语言对齐句子的新测试集，并展示了我们的句子嵌入在低资源语言的多语言相似性搜索中也能取得良好的结果。我们的实现、预训练的编码器和多语言测试集可在https://github.com/facebookresearch/LASER 获取。