4 个月前

通过迭代优化的确定性非自回归神经序列建模

通过迭代优化的确定性非自回归神经序列建模

摘要

我们提出了一种基于迭代改进的条件非自回归神经序列模型。该模型的设计基于潜在变量模型和去噪自动编码器的原则,适用于任何序列生成任务。我们在机器翻译(英德和英罗)和图像标题生成任务上对所提出的模型进行了广泛评估,观察到该模型在显著加快解码速度的同时,生成质量与自回归模型相当。

代码仓库

zhajiahe/Token_Drop
pytorch
GitHub 中提及
nyu-dl/dl4mt-nonauto
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
machine-translation-on-iwslt2015-englishDenoising autoencoders (non-autoregressive)
BLEU score: 27.01
machine-translation-on-iwslt2015-germanDenoising autoencoders (non-autoregressive)
BLEU score: 32.43
machine-translation-on-wmt2014-english-germanDenoising autoencoders (non-autoregressive)
BLEU score: 21.54
Hardware Burden:
Operations per network pass:
machine-translation-on-wmt2014-german-englishDenoising autoencoders (non-autoregressive)
BLEU score: 25.43
machine-translation-on-wmt2016-english-1Denoising autoencoders (non-autoregressive)
BLEU score: 29.66
machine-translation-on-wmt2016-romanianDenoising autoencoders (non-autoregressive)
BLEU score: 30.30

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
通过迭代优化的确定性非自回归神经序列建模 | 论文 | HyperAI超神经