摘要

随着自然语言处理（NLP）及图像-语言任务中预训练技术的近期成功，针对视频-语言任务的预训练方法逐渐兴起，旨在提升视频与文本相关下游任务的性能。然而，现有的多数多模态模型主要针对理解类任务进行预训练，导致在生成类任务上存在“预训练-微调”之间的差异。为此，本文提出UniVL：一种面向多模态理解与生成任务的统一视频与语言预训练模型。该模型由四个核心组件构成，包括两个单模态编码器、一个跨模态编码器，以及一个基于Transformer架构的解码器。为训练各组件，设计了五种预训练目标，分别为：视频-文本联合建模、条件掩码语言模型（CMLM）、条件掩码帧模型（CMFM）、视频-文本对齐，以及语言重构。此外，本文进一步提出了两种优化的预训练策略：分阶段预训练（StagedP）与增强视频表示（EnhancedV），以提升UniVL的训练效率与效果。模型在大规模教学视频数据集HowTo100M上进行预训练。实验结果表明，UniVL能够学习到强大的视频-文本联合表征，并在五个下游任务上均取得了当前最优（state-of-the-art）的性能表现。