摘要

在大规模多模态模型（LMMs）领域，高效的模态对齐至关重要，但通常受到高质量图像-文本数据稀缺性的限制。为了解决这一瓶颈，我们推出了ShareGPT4V数据集，这是一个开创性的大规模资源，包含120万个高度描述性的字幕，其多样性和信息含量超过了现有数据集，涵盖了世界知识、物体属性、空间关系和美学评价。具体而言，ShareGPT4V源自精心挑选的10万个高质量字幕，这些字幕来自先进的GPT4-Vision，并通过在此子集上训练的优秀字幕模型扩展至120万个。首先，ShareGPT4V展示了其在监督微调（SFT）阶段的有效性，通过用我们高质量字幕的一个子集替换现有SFT数据集中等量的详细字幕，显著提升了LLaVA-7B、LLaVA-1.5-13B和Qwen-VL-Chat-7B等多模态模型在MME和MMBench基准测试中的表现，分别获得了222.8/22.0/22.3和2.7/1.3/1.5的提升。此外，我们将ShareGPT4V数据集成到预训练和SFT两个阶段中，得到了基于简单架构的优越多模态模型ShareGPT4V-7B，在大多数多模态基准测试中表现出色。该项目可在https://ShareGPT4V.github.io获取，旨在成为推动多模态模型社区发展的关键资源。