MMPR-v1.2-Prompts 是由上海人工智能实验室联合清华大学、复旦大学等机构于 2024 年发布的一个面向多模态推理偏好学习的提示语料集合，相关论文成果为「Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization」，旨在支持模型在复杂的视觉–语言推理任务中的训练与评估。

数据结构

该数据集包含约 300 万个样本，每条数据为一条自然语言文本提示，部分包含多模态约束（例如结合图像与文本的推理要求）：

• 任务指令（Instruction / Prompt）：以自然语言表述，涵盖多模态推理场景，例如视觉问答、图文推理、场景理解等。
• 输入上下文（Context）：在部分任务中包含图像、文本或两者结合，用于约束模型生成输出。
• 输出格式要求（Output Format）：提示中对回答形式的限定，如「逐步推理（Chain-of-Thought）」、「多选理由」、「解释型输出」等。 需要注意的是，该数据集本身并不包含模型生成的回答或偏好标注结果，而是作为数据生成的起点，为后续构建多模态偏好排序数据（MMPR 数据集）提供输入提示。

Citation

If you find this project useful in your research, please consider citing: “`BibTeX @article{wang2024mpo, title={Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization}, author={Wang, Weiyun and Chen, Zhe and Wang, Wenhai and Cao, Yue and Liu, Yangzhou and Gao, Zhangwei and Zhu, Jinguo and Zhu, Xizhou and Lu, Lewei and Qiao, Yu and Dai, Jifeng}, journal={arXiv preprint arXiv:2411.10442}, year={2024} }