4 个月前

语言输入特征改进神经机器翻译

语言输入特征改进神经机器翻译

摘要

神经机器翻译最近取得了令人印象深刻的结果,同时在外部语言信息的使用上相对较少。本文表明,神经机器翻译模型的强大学习能力并不意味着语言特征变得多余;这些特征可以很容易地被纳入以进一步提高性能。我们对注意力编码器-解码器架构中的嵌入层进行了泛化,以支持除基线单词特征外任意特征的包含。我们在英德双向和英罗单向神经机器翻译系统中添加了形态学特征、词性标签和句法依存关系标签作为输入特征。在WMT16训练集和测试集上的实验结果显示,语言输入特征根据三个指标(困惑度、BLEU和CHRF3)提高了模型的质量。我们的神经机器翻译系统的开源实现已提供,同时提供了示例文件和配置。注释:- “perplexity”译为“困惑度”,是衡量语言模型预测能力的一个常用指标。- “BLEU”是一种常用的自动评估机器翻译质量的指标。- “CHRF3”是一种基于字符n-gram的评价指标,用于评估机器翻译输出与参考译文之间的相似度。

代码仓库

基准测试

基准方法指标
machine-translation-on-wmt2016-english-germanLinguistic Input Features
BLEU score: 28.4
machine-translation-on-wmt2016-german-englishLinguistic Input Features
BLEU score: 32.9

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
语言输入特征改进神经机器翻译 | 论文 | HyperAI超神经