摘要

主流的视频-语言预训练模型 \cite{actbert,clipbert,violet} 通常由三部分构成：视频编码器、文本编码器以及视频-文本融合的 Transformer 模型。这些模型通过采用更复杂的单模态编码器或更强大的多模态融合 Transformer 来提升性能，但这也导致参数量显著增加，从而在下游任务中表现出较低的计算效率。在本工作中，我们首次提出一种端到端的视频-语言模型——名为 \textit{all-in-one Transformer}，该模型采用统一的骨干架构，将原始视频信号与文本信号直接嵌入到联合表示空间中。我们认为，视频数据所特有的时间序列特性，构成了设计模态无关 Transformer 的关键障碍。为克服这一挑战，我们提出了一种新颖且高效的“令牌滚动”（token rolling）操作，以非参数化的方式从视频片段中编码时间表征。这一精心设计使得统一的骨干模型能够同时实现对视频-文本多模态输入以及单模态输入的有效表征学习。经过微调后，我们预训练的 all-in-one Transformer 被成功迁移至多种下游视频-语言任务，包括文本到视频检索、视频问答、多选题以及视觉常识推理等。在九个数据集上的实验结果表明，该方法在取得当前最优性能的同时，模型的浮点运算量（FLOPs）达到最小，显著优于现有竞争方法。相关代码与预训练模型已开源，详见 https://github.com/showlab/all-in-one。