摘要

大型语言模型（LLMs）使得近期基于LLM的方法在长视频理解基准测试中取得了优异的表现。我们研究了底层LLM所具备的广泛世界知识和强大的推理能力如何影响这一出色表现。令人惊讶的是，我们发现基于LLM的方法即使在视频信息有限的情况下，有时甚至完全没有特定的视频信息，也能在长视频任务上取得出乎意料的好精度。在此基础上，我们探索了将特定的视频信息注入到基于LLM的框架中。我们利用现成的视觉工具从视频中提取三种以对象为中心的信息模态，然后利用自然语言作为融合这些信息的媒介。最终形成的多模态视频理解（MVU）框架在多个视频理解基准测试中展示了最先进的性能。该框架在机器人领域任务中的强大表现也证明了其广泛的通用性。代码：https://github.com/kahnchana/mvu