摘要

视频-语言预训练（Video-Language Pre-training, VLP）因其在多种视觉与语言任务中具备良好的泛化能力，近年来日益受到重视。然而，现有的第一人称视角VLP框架通常采用独立的视频与语言编码器，并仅在微调阶段学习特定任务的跨模态信息，这限制了统一系统的发展。为此，本文提出了第二代第一人称视频-语言预训练模型EgoVLPv2，相较于前代版本实现了显著提升。EgoVLPv2通过将跨模态融合机制直接嵌入视频与语言主干网络中，实现了在预训练阶段即学习到强大的视频-文本表示能力。同时，该模型复用跨模态注意力模块，能够以灵活高效的方式支持多种下游任务，显著降低微调成本。此外，我们提出的主干网络内融合策略相比堆叠额外的专用融合层，具有更轻量、更高效的计算特性。在广泛多样的视觉-语言任务上进行的大量实验表明，EgoVLPv2在所有下游任务中均持续超越现有强基线模型，达到一致的最先进性能。项目主页详见：https://shramanpramanick.github.io/EgoVLPv2/。