摘要

我们提出了一种分层结构的强化学习方法，以应对视觉故事生成任务中规划连贯多句故事的挑战。在我们的框架中，给定一系列图像生成故事的任务被划分为两级分层解码器。高级解码器通过为序列中的每张图像生成一个语义概念（即主题）来构建计划。低级解码器则利用语义组合网络为每张图像生成句子，该网络能够有效地将句子生成过程基于主题进行条件化。两个解码器使用强化学习方法联合端到端训练。我们在视觉故事生成（VIST）数据集上评估了我们的模型。自动评估和人工评估的实证结果均表明，所提出的分层结构强化训练方法相比强大的平面深度强化学习基线模型显著提升了性能。