摘要
我们介绍了LLaVA-OneVision，这是一系列由我们在LLaVA-NeXT博客系列中整合的数据、模型和视觉表示见解开发的开放大型多模态模型（LMMs）。实验结果表明，LLaVA-OneVision是首个能够在三个重要的计算机视觉场景中同时突破开放LMM性能边界的单一模型：单图像场景、多图像场景和视频场景。尤为重要的是，LLaVA-OneVision的设计允许在不同模态/场景之间进行强大的迁移学习，从而产生新的涌现能力。特别是，通过从图像到视频的任务迁移，展示了其强大的视频理解和跨场景能力。
代码仓库
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| temporal-relation-extraction-on-vinoground | LLaVA-OneVision-Qwen2-72B | Group Score: 21.8 Text Score: 48.4 Video Score: 35.2 |
| temporal-relation-extraction-on-vinoground | LLaVA-OneVision-Qwen2-7B | Group Score: 14.6 Text Score: 41.6 Video Score: 29.4 |
| video-question-answering-on-next-qa | LLaVA-OV(7B) | Accuracy: 79.4 |
| video-question-answering-on-next-qa | LLaVA-OV(72B) | Accuracy: 80.2 |
| visual-question-answering-on-mm-vet | LLaVA-OneVision-7B | GPT-4 score: 57.5 |
| visual-question-answering-on-mm-vet | LLaVA-OneVision-72B | GPT-4 score: 63.7 |
| visual-question-answering-on-mm-vet | LLaVA-OneVision-0.5B | GPT-4 score: 29.1 |
| visual-question-answering-vqa-on-vlm2-bench | LLaVA-OneVision-7B | Average Score on VLM2-bench (9 subtasks): 39.35 GC-mat: 16.60 GC-trk: 13.70 OC-cnt: 56.17 OC-cpr: 47.22 OC-grp: 27.50 PC-VID: 47.25 PC-cnt: 46.67 PC-cpr: 62.00 PC-grp: 37.00 |