摘要

机器翻译对训练数据的规模和质量极为敏感，这导致了越来越多的研究兴趣集中在收集和过滤大规模平行语料库上。本文提出了一种基于多语言句子嵌入的新方法来完成这一任务。与以往依赖于余弦相似度硬阈值的最近邻检索方法不同，我们提出的方法考虑了该度量的尺度不一致性问题，转而关注给定句子对与其最接近候选句之间的差距。实验结果表明，我们的方法相比现有方法有显著提升。在BUCC挖掘任务和联合国重建任务中，我们的表现分别超过了最佳已发表结果超过10个F1分数点和30个精确度点。使用我们的方法过滤英德ParaCrawl语料库后，在newstest2014测试集上获得了31.2个BLEU分数点，比最佳官方过滤版本提高了超过一个分数点。