摘要

在本工作中，我们提出Vid2Seq，一种基于大规模可获取的带旁白视频进行预训练的多模态单阶段密集事件描述模型。Vid2Seq架构通过引入特殊的时序标记（time tokens）对语言模型进行增强，使其能够在同一输出序列中无缝预测事件边界及其文本描述。这种统一的建模方式需要大规模训练数据，而现有标注数据集尚无法满足这一需求。我们证明，可通过将语音转写文本中的句子边界重新定义为伪事件边界，并将转写后的句子作为伪事件描述，从而利用大量未标注的带旁白视频实现密集视频描述任务的训练。基于YT-Temporal-1B数据集预训练的Vid2Seq模型，在多个密集视频描述基准测试（包括YouCook2、ViTT和ActivityNet Captions）上均取得了当前最优性能。此外，Vid2Seq在视频段落描述、视频片段描述任务以及少样本学习场景下也展现出良好的泛化能力。相关代码已公开，访问地址为：https://antoyang.github.io/vid2seq.html。