摘要

我们提出CLIP2Video网络，实现将图像-语言预训练模型端到端地迁移至视频-文本检索任务。当前视频与语言学习领域的主流方法通常从大规模视频-文本数据集中蒸馏时空视频特征以及视频与语言之间的多模态交互信息。与之不同，我们采用预训练的图像-语言模型，将其简化为一种两阶段框架，分别实现图像-文本的协同学习以及视频帧间时序关系的增强，从而使其能够在相对较小的数据集上进行有效训练。具体而言，基于对比语言-图像预训练（CLIP）模型所捕捉的空间语义，我们的模型引入了时序差分模块（Temporal Difference Block），用于在细粒度的时间视频帧上捕捉运动信息；同时设计了时序对齐模块（Temporal Alignment Block），以重新对齐视频片段与语义短语的标记（tokens），并增强多模态之间的关联性。我们进行了详尽的消融实验，并在多个主流文本到视频及视频到文本检索基准测试中取得了当前最优性能，包括在MSR-VTT、MSVD和VATEX数据集上刷新了检索准确率的新纪录。