4 个月前

基于权重共享的无监督神经机器翻译

基于权重共享的无监督神经机器翻译

摘要

无监督神经机器翻译(NMT)是一种最近提出的机器翻译方法,旨在不使用任何标注数据的情况下训练模型。目前提出的无监督NMT模型通常仅使用一个共享编码器将不同语言的句子对映射到一个共享潜在空间,这种方法在保留每种语言的独特性和内部特征方面表现较弱,例如风格、术语和句式结构。为了解决这一问题,我们引入了一种扩展方法,即使用两个独立的编码器,但共享部分负责提取输入句子高层次表示的权重。此外,我们提出了两种不同的生成对抗网络(GANs),即局部GAN和全局GAN,以增强跨语言翻译的效果。通过这种新方法,我们在英德、英法和中英翻译任务上取得了显著的改进。

代码仓库

基准测试

基准方法指标
machine-translation-on-wmt2016-english-germanUnsupervised NMT + weight-sharing
BLEU score: 10.86
machine-translation-on-wmt2016-german-englishUnsupervised NMT + weight-sharing
BLEU score: 14.62

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于权重共享的无监督神经机器翻译 | 论文 | HyperAI超神经