摘要

自动生成连贯且语义上有意义的文本在机器翻译、对话系统、图像描述等领域有许多应用。最近，通过结合策略梯度（Policy Gradient），使用判别模型作为强化学习策略来指导生成模型训练的生成对抗网络（Generative Adversarial Nets, GAN）在文本生成方面展示了令人鼓舞的结果。然而，标量引导信号仅在整段文本生成完毕后才可用，并且在生成过程中缺乏关于文本结构的中间信息。因此，当生成的文本长度较长（超过20个单词）时，这种限制会影响其成功。本文提出了一种新的框架，称为LeakGAN，以解决长文本生成的问题。我们允许判别网络将其自身提取的高层次特征泄露给生成网络，以进一步提供指导。生成器通过一个额外的管理模块（Manager module）将这些信息信号融入所有生成步骤中，该模块接收当前已生成单词的提取特征并输出一个潜在向量，以指导工作模块（Worker module）进行下一个单词的生成。我们在合成数据和各种实际任务上进行了广泛的实验，并通过图灵测试证明了LeakGAN在长文本生成中的高效性，同时也提高了短文本生成场景下的性能。更重要的是，在没有任何监督的情况下，LeakGAN能够通过管理模块和工作模块之间的交互隐式地学习句子结构。