HyperAIHyperAI

Command Palette

Search for a command to run...

基于边缘的多语言句子嵌入并行语料库挖掘

Mikel Artetxe; Holger Schwenk

摘要

机器翻译对训练数据的规模和质量极为敏感,这导致了越来越多的研究兴趣集中在收集和过滤大规模平行语料库上。本文提出了一种基于多语言句子嵌入的新方法来完成这一任务。与以往依赖于余弦相似度硬阈值的最近邻检索方法不同,我们提出的方法考虑了该度量的尺度不一致性问题,转而关注给定句子对与其最接近候选句之间的差距。实验结果表明,我们的方法相比现有方法有显著提升。在BUCC挖掘任务和联合国重建任务中,我们的表现分别超过了最佳已发表结果超过10个F1分数点和30个精确度点。使用我们的方法过滤英德ParaCrawl语料库后,在newstest2014测试集上获得了31.2个BLEU分数点,比最佳官方过滤版本提高了超过一个分数点。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供