摘要

构建一个能够解决多种视频理解任务（如文本-视频检索、视频问答）的通用视频-语言模型，是机器学习领域的一项开放性挑战。为实现这一目标，近年来大多数研究工作通过堆叠单模态与跨模态特征编码器，并采用成对对比预训练任务进行模型训练。尽管这类方法展现出良好的通用性，但其在效率与性能之间往往难以兼顾，且通常需为不同下游任务设计不同的网络架构。我们发现，这一问题的根本原因在于成对训练难以有效实现多模态特征之间的对齐与融合。为此，我们提出 Clover——一种新型的关联式视频-语言预训练方法，旨在构建一个能够高效、无损地解决多种视频理解任务的通用视频-语言模型。Clover 通过引入一种新颖的三模态对齐预训练任务，显著提升了跨模态特征的对齐与融合能力。此外，我们进一步提出通过引入语义掩码样本的学习机制以及一种新的成对排序损失（pair-wise ranking loss），以增强三模态对齐效果。在多个下游任务上，Clover 均取得了新的最先进性能，涵盖三种零样本与微调设置下的文本-视频检索任务，以及八项视频问答任务。相关代码与预训练模型将开源发布于：https://github.com/LeeYN-43/Clover。