摘要

随着多模态大语言模型（MLLMs）的快速发展，近期出现了一系列诊断基准测试，用于评估这些模型的理解能力。然而，大多数基准测试主要集中在静态图像任务的空间理解上，而忽视了动态视频任务的时间理解。为了解决这一问题，我们引入了一个全面的多模态视频理解基准测试——MVBench，该基准涵盖了20个具有挑战性的视频任务，这些任务无法仅通过单帧图像有效解决。具体而言，我们首先提出了一种新颖的静态到动态方法来定义这些时间相关的任务。通过将各种静态任务转化为动态任务，我们能够系统地生成需要广泛时间技能（从感知到认知）的视频任务。然后，在任务定义的指导下，我们将公开的视频注释自动转换为多项选择题问答形式，以评估每个任务。一方面，这种独特的范式使我们能够高效地构建MVBench，减少了大量的人工干预；另一方面，它通过使用真实的视频注释保证了评估的公平性，避免了对大语言模型的偏见评分。此外，我们还进一步开发了一个稳健的视频MLLM基线模型——VideoChat2，通过多样化的指令调优数据进行渐进式的多模态训练。我们在MVBench上的广泛实验结果表明，现有的MLLMs在时间理解方面远未达到令人满意的效果，而我们的VideoChat2在MVBench上大幅超越了这些领先模型，性能提升了超过15%。所有模型和数据均可在https://github.com/OpenGVLab/Ask-Anything获取。