
摘要
我们提出了一种基于迭代改进的条件非自回归神经序列模型。该模型的设计基于潜在变量模型和去噪自动编码器的原则,适用于任何序列生成任务。我们在机器翻译(英德和英罗)和图像标题生成任务上对所提出的模型进行了广泛评估,观察到该模型在显著加快解码速度的同时,生成质量与自回归模型相当。
代码仓库
zhajiahe/Token_Drop
pytorch
GitHub 中提及
nyu-dl/dl4mt-nonauto
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| machine-translation-on-iwslt2015-english | Denoising autoencoders (non-autoregressive) | BLEU score: 27.01 |
| machine-translation-on-iwslt2015-german | Denoising autoencoders (non-autoregressive) | BLEU score: 32.43 |
| machine-translation-on-wmt2014-english-german | Denoising autoencoders (non-autoregressive) | BLEU score: 21.54 Hardware Burden: Operations per network pass: |
| machine-translation-on-wmt2014-german-english | Denoising autoencoders (non-autoregressive) | BLEU score: 25.43 |
| machine-translation-on-wmt2016-english-1 | Denoising autoencoders (non-autoregressive) | BLEU score: 29.66 |
| machine-translation-on-wmt2016-romanian | Denoising autoencoders (non-autoregressive) | BLEU score: 30.30 |