摘要

在本工作中，我们提出了一种高效的视频-语言对齐（Video-Language Alignment, ViLA）网络。我们的ViLA模型以统一的方式解决了高效帧采样与有效跨模态对齐两大问题。在ViLA网络中，我们设计了一种新型可学习的文本引导帧提示模块（text-guided Frame-Prompter），并引入了一种新的跨模态蒸馏模块（QFormer-Distiller）。预训练的大规模图像-语言模型在视觉问答（Visual Question Answering, VQA）等任务中已展现出优异性能。然而，如何在将预训练的大规模图像-语言模型迁移至视频-语言对齐任务时，实现高效且有效的视频帧采样，仍是当前的主要挑战。与现有方法相比，我们的ViLA模型能够精准选择包含关键语义内容的关键帧，从而在提升视频-语言对齐准确率的同时，显著降低推理延迟（在NExT-QA Temporal数据集上，推理延迟降低3.3%，速度提升达3.0倍）。总体而言，我们的ViLA网络在多个视频问答基准测试中超越了当前最优方法：在STAR Interaction任务上提升4.6%，在STAR平均性能上提升2.2%，且速度提升3.0倍；在VLEP数据集上，仅使用2帧即超越SeViLA使用4帧的性能，同时实现4.2倍的速度提升。代码将开源，地址为：https://github.com/xijun-cs/ViLA。