摘要

近期在图像描述生成领域的进展使得利用自然语言生成新颖的句子来描述图像成为可能，但将图像压缩为单个句子只能粗略地描述视觉内容。虽然一种新的图像描述方法——密集描述（dense captioning）——可以通过对图像中的多个区域进行描述，从而潜在地提供更细致的细节，但它却无法为图像生成一个连贯的故事。本文克服了这些局限性，通过生成完整的段落来描述图像，这些段落可以讲述详细且统一的故事。我们开发了一个模型，该模型将图像和段落分解为其组成部分，检测图像中的语义区域，并使用分层递归神经网络对语言进行推理。语言学分析证实了段落生成任务的复杂性，而针对新建立的图像与段落配对数据集进行的详尽实验则展示了我们方法的有效性。