4 个月前

仅使用单语语料库的无监督机器翻译

仅使用单语语料库的无监督机器翻译

摘要

近期,由于深度学习技术的进步以及大规模平行语料库的可用性,机器翻译取得了令人瞩目的性能提升。尽管已有许多尝试将这些成功扩展到资源匮乏的语言对上,但通常仍需要数万条平行句子。在本研究中,我们将这一研究方向推向极致,探讨是否可以在没有任何平行数据的情况下学习翻译。我们提出了一种模型,该模型从两种不同语言的单语文本语料库中提取句子,并将其映射到同一潜在空间。通过从这个共享特征空间中进行双语重建,模型能够在不使用任何标注数据的情况下有效学习翻译。我们在两个广泛使用的数据集和两组语言对上验证了我们的模型,在Multi30k和WMT英法数据集上分别报告了32.8和15.1的BLEU分数,而训练过程中未使用任何平行句子。

代码仓库

makozi/AfrikaansNMT
GitHub 中提及
labdac/charlacompling
GitHub 中提及
barnerwothers/MUSE
pytorch
GitHub 中提及
maochf/MUSE
pytorch
GitHub 中提及
freedombenLiu/MUSE
pytorch
GitHub 中提及
facebookresearch/MUSE
pytorch
GitHub 中提及
migonch/unsupervised_mt
pytorch
GitHub 中提及
samnguyen8991/Facebook-MUSE
pytorch
GitHub 中提及
sabetAI/bucc-eval
pytorch
GitHub 中提及
jiajunhua/facebookresearch-MUSE
pytorch
GitHub 中提及
keleog/PidginUNMT
pytorch
GitHub 中提及

基准测试

基准方法指标
machine-translation-on-wmt2016-english-germanUnsupervised S2S with attention
BLEU score: 9.64
machine-translation-on-wmt2016-german-englishUnsupervised S2S with attention
BLEU score: 13.33

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
仅使用单语语料库的无监督机器翻译 | 论文 | HyperAI超神经