摘要

大多数序列到序列（seq2seq）模型均为自回归模型，其通过基于先前生成的标记来逐个生成每个标记。相比之下，非自回归seq2seq模型能够在单次前向传播中生成全部标记，从而通过GPU等硬件实现并行处理，显著提升效率。然而，直接联合建模所有标记的联合分布极具挑战性，即便采用日益复杂的模型结构，其生成准确率仍显著落后于自回归模型。本文提出一种基于隐变量模型的简单、高效且有效的非自回归序列生成方法。具体而言，我们引入生成流（generative flow）这一优雅的神经网络技术，用于建模复杂分布，并设计了多层流结构，专门用于建模序列隐变量的条件密度。我们在三个神经机器翻译（NMT）基准数据集上对该模型进行了评估，结果表明其性能可与当前最先进的非自回归NMT模型相媲美，且解码时间几乎不随序列长度变化，保持恒定。