摘要

大型语言模型（LLMs）已在多种任务中得到广泛应用，这激发了我们开发基于LLM的视频助手的兴趣。我们提出了一种模块，可以将任意训练良好的图像基础LLM转换为视频-LLM（在经过视频数据训练后）。为了更好地使图像-LLM适应视频处理，我们引入了两个设计原则：线性变换以保持原有的视觉-语言对齐，以及从冗余的视频内容中提取代表性信息。基于这些原则，我们提出了一种即插即用的线性视频分词器（Linear Video Tokenizer, LinVT），该分词器使现有的图像-LLM能够理解视频。我们使用六种最近的视觉LLM——Aquila、Blip-3、InternVL2、Mipha、Molmo和Qwen2-VL对LinVT进行了基准测试，展示了LinVT的高度兼容性。基于LinVT的LLM在各种视频基准测试中均取得了最先进的性能，证明了LinVT在多模态视频理解中的有效性。