摘要

近期在大规模语言模型（Large Language Models, LLM）方面的进展推动了图像-语言对话代理的多种进步，但如何构建一个高效的基于视频的对话系统仍处于探索阶段。考虑到大规模语言模型和视觉主干网络的庞大体量，留给有效时序建模的GPU内存非常有限，而时序建模对于理解和回应视频内容至关重要。为此，我们提出了一种新的方法——分支时序适配器（Branching Temporal Adapter, BT-Adapter），用于将图像-语言预训练模型扩展到视频领域。具体而言，BT-Adapter作为预训练视觉编码器旁的一个即插即用的时序建模分支，在保持主干网络冻结的情况下进行微调。只需一次预训练，BT-Adapter即可无缝集成到所有使用此版本CLIP的图像对话模型中，实现无需视频指令的视频对话功能。此外，我们在分支内部开发了一种独特的非对称标记掩码策略，并为BT-Adapter设计了定制化的训练任务，从而加速收敛并获得更好的结果。得益于BT-Adapter，我们能够在不增加过多GPU成本的情况下增强现有多模态对话模型的视频理解能力。无需额外复杂的配置，BT-Adapter实现了以下几点：(1) 在各种视频任务上以较少的GPU小时数达到了最先进的零样本性能；(2) 无需任何视频指令微调的情况下优于当前的视频聊天机器人；(3) 经过视频指令微调后，在视频聊天方面取得了远超以往最佳水平的结果。