4 个月前

用于神经机器翻译的字符级解码器无需显式分词

用于神经机器翻译的字符级解码器无需显式分词

摘要

现有的机器翻译系统,无论是基于短语的还是神经网络的,几乎完全依赖于显式分词的词汇级建模。在本文中,我们提出一个基本问题:神经机器翻译能否在没有任何显式分词的情况下生成字符序列?为回答这一问题,我们在四个语言对(En-Cs、En-De、En-Ru 和 En-Fi)上评估了一种基于注意力机制的编码器-解码器模型,该模型使用了子词级编码器和字符级解码器,并采用了WMT'15提供的平行语料库。实验结果表明,在所有四个语言对中,使用字符级解码器的模型均优于使用子词级解码器的模型。此外,在En-Cs、En-De 和 En-Fi 语言对上,使用字符级解码器的神经模型集成表现优于最先进的非神经机器翻译系统;而在 En-Ru 语言对上,则表现出相当的性能。

代码仓库

nyu-dl/dl4mt-cdec
GitHub 中提及
nyu-dl/dl4mt-c2c
GitHub 中提及

基准测试

基准方法指标
machine-translation-on-wmt2015-english-germanEnc-Dec Att (char)
BLEU score: 23.5
machine-translation-on-wmt2015-english-germanEnc-Dec Att (BPE)
BLEU score: 21.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于神经机器翻译的字符级解码器无需显式分词 | 论文 | HyperAI超神经