摘要

在本文中，我们借鉴人类感知过程——即视觉与语言的交互机制——来生成对未剪辑视频的连贯段落描述。我们提出了一种视觉-语言（Vision-Language, VL）特征表示，包含两个模态：（i）视觉模态，用于捕捉整个场景的全局视觉内容；（ii）语言模态，用于提取场景中人类与非人类对象（如动物、车辆等）的描述，以及视觉与非视觉元素（如关系、行为等）的语义信息。此外，我们提出在对比学习框架下，采用视觉-语言损失函数对所提出的VLCap模型进行训练。在ActivityNet Captions和YouCookII数据集上的实验与消融研究结果表明，我们的VLCap在准确率和多样性指标上均优于现有的最先进方法。