该数据集为上海交通大学发布的多模态基准测试 MULTI ，旨在评测多模态大模型在理解复杂的表格和图像、以及进行长文本推理的能力。该测试提供多模态输入，并要求回答是精确的或开放式的，反映了现实生活中的考试风格。 MULTI 包含逾 18,000 个问题，涵盖从公式推导到图像分析及跨模态推理的多样化任务。 研究团队还创建了 MULTI-Elite，这是一个精心挑选的包含 500 个问题的难题子集，以及 MULTI-Extend，包含超过 4,500 个外部知识上下文的数据集。 MULTI 不仅作为一个稳健的评测平台，也为专家级 AI 的发展指明了方向。

Citation

@article{zhu2025multi, title={{MULTI}: Multimodal Understanding Leaderboard with Text and Images}, author={Zichen Zhu and Yang Xu and Lu Chen and Jingkai Yang and Yichuan Ma and Yiming Sun and Hailin Wen and Jiaqi Liu and Jinyu Cai and Yingzi Ma and Situo Zhang and Zihan Zhao and Liangtai Sun and Kai Yu}, journal = “SCIENCE CHINA Information Sciences”, year = “2025”, volume = “68”, number = “10”, pages = “200107.1–200107.26”, doi = “https://doi.org/10.1007/s11432-024-4602-x” }