摘要

我们提出了一种名为“数据多样化”（Data Diversification）的简单而有效的策略，用于提升神经机器翻译（NMT）的性能。该方法通过利用多个前向和反向翻译模型的预测结果对训练数据进行多样化处理，随后将这些增强后的数据与原始数据集合并，用于最终NMT模型的训练。该方法适用于所有类型的NMT模型，无需额外的单语数据（如回译技术），也无需引入额外的计算开销或模型参数（ unlike model ensembles）。在WMT'14英语-德语和英语-法语翻译任务中，该方法分别取得了30.7和43.7的当前最优BLEU得分。此外，它在其他8项翻译任务上也实现了显著提升，包括4项IWSLT任务（英语-德语、英语-法语）以及4项低资源翻译任务（英语-尼泊尔语、英语-僧伽罗语）。实验表明，该方法在性能上优于知识蒸馏和双向学习（dual learning），与模型集成（ensembles）具有强相关性，并能在降低困惑度（perplexity）的同时获得更高的BLEU分数。相关源代码已开源，地址为：https://github.com/nxphi47/data_diversification。