摘要

我们介绍了BilBOWA（无需对齐的双语词袋模型），这是一种简单且计算高效的模型，用于学习词的双语分布式表示。该模型可以扩展到大型单语数据集，并且不需要词对齐的平行训练数据。相反，它直接在单语数据上进行训练，并从较小规模的原始文本句对齐数据中提取双语信号。这是通过一种新颖的采样词袋跨语言目标函数实现的，该函数用于正则化两个噪声对比语言模型，从而高效地进行跨语言特征学习。实验结果表明，使用所提出的模型学到的双语嵌入在跨语言文档分类任务以及WMT11数据上的词汇翻译任务中均优于现有最先进方法。