摘要

视觉叙事是一项为给定图像序列生成相关且富有吸引力故事的任务。本文旨在提升生成故事的多样性，同时保持对图像信息的充分表达。为此，我们提出引入一个概念选择模块，该模块可推荐一组候选概念，以促进生成故事在多样性和信息性方面的提升。随后，利用大规模预训练模型将这些概念与图像信息共同转化为完整的叙事内容。为丰富候选概念的来源，我们基于每组图像序列构建了一个常识知识图谱，并从中提取概念候选。为从图谱中获取恰当的概念，我们设计了两个新颖的模块，分别考虑候选概念之间的关联性以及图像与概念之间的相关性。大量自动评估与人工评估结果表明，本模型能够生成合理且高质量的概念。由此，我们的模型在故事的多样性与信息性方面显著优于先前模型，同时保持了故事与图像序列之间的高度相关性。