摘要

非自回归Transformer是一种具有前景的文本生成模型。然而，当前的非自回归模型在翻译质量上仍落后于自回归模型。我们认为，这一准确率差距主要源于解码器输入之间缺乏依赖关系建模。为此，本文提出CNAT（Categorical Latent Variable-based Non-autoregressive Transformer），该模型在非自回归解码过程中隐式地学习类别编码作为潜在变量。这些类别编码之间的相互作用有效弥补了缺失的依赖关系，提升了模型的表达能力。实验结果表明，与多个强基准模型相比，本模型在机器翻译任务中取得了相当或更优的性能。