HyperAIHyperAI

Command Palette

Search for a command to run...

将局部翻译机制融入非自回归翻译

Xiang Kong Zhisong Zhang Eduard Hovy

摘要

在本工作中,我们提出一种新颖的局部自回归翻译(Local Autoregressive Translation, LAT)机制,并将其引入非自回归翻译(Non-Autoregressive Translation, NAT)模型中,以捕捉目标输出之间的局部依赖关系。具体而言,对于每个目标端解码位置,我们不再仅预测单一词元,而是以自回归方式预测一个短序列的词元。为进一步实现输出整合,我们设计了一种高效的合并算法,用于对生成的输出片段进行对齐与合并,最终形成完整的输出序列。我们将LAT机制集成到条件掩码语言模型(Conditional Masked Language Model, CMLM;Ghazvininejad et al., 2019)框架中,并采用类似的迭代解码策略。在五个翻译任务上的实验结果表明,与CMLM相比,我们的方法在保持相当或更优性能的同时,显著减少了解码迭代次数,实现了2.5倍的加速。进一步分析显示,该方法有效降低了重复翻译现象,并在长句翻译任务中表现更优。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
将局部翻译机制融入非自回归翻译 | 论文 | HyperAI超神经