摘要

我们提出HERO，一种面向大规模视频与语言联合表征学习的新型框架。HERO采用分层结构对多模态输入进行编码：通过跨模态Transformer实现多模态融合，捕捉视频帧的局部上下文信息；同时利用时序Transformer捕捉视频的全局时序上下文。除标准的掩码语言建模（Masked Language Modeling, MLM）和掩码帧建模（Masked Frame Modeling, MFM）任务外，我们设计了两项新的预训练任务：（i）视频-字幕匹配（Video-Subtitle Matching, VSM），要求模型同时预测全局与局部的时间对齐关系；（ii）帧序建模（Frame Order Modeling, FOM），要求模型预测打乱后视频帧的正确顺序。HERO在HowTo100M数据集与大规模电视视频数据集上联合训练，从而深入理解包含多角色交互的复杂社会动态。大量实验证明，HERO在多个基准测试中均取得了新的最先进性能，涵盖基于文本的视频检索、视频片段检索、视频问答（Video Question Answering, QA）、视频与语言推理以及视频字幕生成等不同领域的任务。此外，我们还构建了两个新的具有挑战性的基准数据集——How2QA与How2R，分别用于视频问答与视频检索任务，其数据来源于多种模态、多样化的视频内容。