摘要

网络爬取数据为训练机器翻译模型提供了丰富的平行语料资源。这类语料可自动获取，但噪声极大，而近期研究表明，神经机器翻译系统对噪声的敏感性高于传统的统计机器翻译方法。本文提出一种新颖的方法，利用预训练语言模型从网络爬取的语料中过滤掉噪声句对。我们借助BERT的多语言能力来衡量句子间的平行性，并采用生成式预训练（GPT）语言模型作为领域过滤器，以实现不同数据领域的平衡。我们在WMT 2018平行语料过滤共享任务以及我们自建的网络爬取日语-中文平行语料库上对所提方法进行了评估。实验结果表明，该方法显著优于各类基线模型，并达到了新的最先进水平。在无监督设置下，其性能可与排名第一的有监督方法相媲美。此外，我们还对公开发布的日语-中文网络爬取平行语料库进行了评估，进一步验证了方法的有效性。