HyperAIHyperAI

Command Palette

Search for a command to run...

MAmmoTH-VL:通过大规模指令微调激发多模态推理

Jarvis Guo Tuney Zheng Yuelin Bai Bo Li Yubo Wang King Zhu Yizhi Li Graham Neubig Wenhu Chen Xiang Yue

Abstract

开源多模态大语言模型(MLLMs)在众多多模态任务中展现出巨大的潜力。然而,其推理能力仍受限于现有的指令微调数据集,这些数据集主要源自学术数据集(如VQA、AI2D和ChartQA)的改造与再利用。这些数据集针对的是较为简单的任务,且仅提供词元级别的答案,缺乏中间推理过程。为应对上述挑战,我们提出一种可扩展且成本低廉的方法,构建大规模、富含中间推理链的多模态指令微调数据集,旨在有效激发模型的思维链(CoT)推理能力。仅使用开源模型,我们构建了一个包含1200万条指令-响应对的数据集,覆盖多样且高度依赖推理的任务,并提供详尽、准确的中间推理过程。实验结果表明,基于该数据集训练的MLLM在多个基准测试中显著提升了推理能力,达到当前最优性能:在MathVerse上提升8.1%,MMMU-Pro上提升7%,MuirBench上提升13.3%。此外,模型在非推理类基准测试中也实现了最高达4%的性能提升。消融实验进一步验证了数据集构建过程中关键组件(如重写与自过滤)的重要性。


Build AI with AI

From idea to launch — accelerate your AI development with free AI co-coding, out-of-the-box environment and best price of GPUs.

AI Co-coding
Ready-to-use GPUs
Best Pricing

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
MAmmoTH-VL:通过大规模指令微调激发多模态推理 | Papers | HyperAI超神经