摘要

神经文本生成模型通常是自回归语言模型或序列到序列（seq2seq）模型。这些模型通过顺序采样单词来生成文本，每个单词的生成都依赖于前一个单词，并且在多个机器翻译和摘要生成基准测试中处于领先水平。尽管如此，这些基准测试通常以验证困惑度来定义，而验证困惑度并不是直接衡量生成文本质量的指标。此外，这些模型通常通过最大似然估计和教师强制训练方法进行训练。这些方法非常适合优化困惑度，但可能导致样本质量较差，因为生成文本时需要基于在训练过程中从未观察到的词序列进行条件化。我们提出使用生成对抗网络（Generative Adversarial Networks, GANs）来提高样本质量，GANs 明确地训练生成器以产生高质量的样本，并在图像生成方面取得了显著成功。然而，GANs 最初设计用于输出可微值，因此离散语言生成对它们来说是一个挑战。我们认为仅凭验证困惑度无法反映模型生成文本的质量。为此，我们引入了一种基于演员-评论家机制的条件 GAN，该模型可以根据周围上下文填补缺失的文本。我们从定性和定量两个方面提供了证据，表明这种方法相比最大似然估计训练的模型可以生成更真实的有条件和无条件文本样本。