RLAIF-V 数据集是一个由 AI 生成的多模态偏好数据集，它覆盖了各种任务和领域。该数据集包含超过 44,757 组高质量的对比对，用于训练和评估多模态大型语言模型 (MLLMs）。 RLAIF-V 数据集通过一个新颖的方法，采用开源大模型来对模型响应进行去混杂处理，并提供高质量的反馈数据，以减少不同 MLLMs 的幻觉现象。 此外，RLAIF-V 数据集还用于训练 MiniCPM-Llama3-V 2.5 模型，这代表了第一个端侧 GPT-4V 级别的 MLLM17 。 RLAIF-V 项目已经开源了代码、权重 (7B 、 12B) 和数据，以便研究社区使用和进一步研究。 RLAIF-V 数据集的主要特点包括：

1. 高质量反馈数据：数据集使用的有效减少不同 MLLMs 的幻觉。
2. 开源：数据集是完全开源的，允许研究者自由访问和使用。
3. 多任务和多领域：数据集涵盖广泛的任务和领域，提供多样化的偏好数据。 RLAIF-V 数据集的许可证是 CC BY NC 4.0，仅允许非商业用途，并且使用该数据集训练的模型不应在研究目的之外使用。

Citation

@article{yu2023rlhf,
title={Rlhf-v: Towards trustworthy mllms via behavior alignment from fine-grained correctional human feedback},
author={Yu, Tianyu and Yao, Yuan and Zhang, Haoye and He, Taiwen and Han, Yifeng and Cui, Ganqu and Hu, Jinyi and Liu, Zhiyuan and Zheng, Hai-Tao and Sun, Maosong and others},
journal={arXiv preprint arXiv:2312.00849},
year={2023}
}
@article{yu2024rlaifv,
title={RLAIF-V: Open-Source AI Feedback Leads to Super GPT-4V Trustworthiness},
author={Tianyu Yu and Haoye Zhang and Qiming Li and Qixin Xu and Yuan Yao and Da Chen and Xiaoman Lu and Ganqu Cui and Yunkai Dang and Taiwen He and Xiaocheng Feng and Jun Song and Bo Zheng and Zhiyuan Liu and Tat-Seng Chua and Maosong Sun},
journal={arXiv preprint arXiv:2405.17220},
year={2024},
}
@misc{yu2025minicpmv45cookingefficient,
title={MiniCPM-V 4.5: Cooking Efficient MLLMs via Architecture, Data, and Training Recipe},
author={Tianyu Yu and Zefan Wang and Chongyi Wang and Fuwei Huang and Wenshuo Ma and Zhihui He and Tianchi Cai and Weize Chen and Yuxiang Huang and Yuanqian Zhao and Bokai Xu and Junbo Cui and Yingjing Xu and Liqing Ruan and Luoyuan Zhang and Hanyu Liu and Jingkun Tang and Hongyuan Liu and Qining Guo and Wenhao Hu and Bingxiang He and Jie Zhou and Jie Cai and Ji Qi and Zonghao Guo and Chi Chen and Guoyang Zeng and Yuxuan Li and Ganqu Cui and Ning Ding and Xu Han and Yuan Yao and Zhiyuan Liu and Maosong Sun},
year={2025},
eprint={2509.18154},
archivePrefix={arXiv},
primaryClass={cs.LG},
url={https://arxiv.org/abs/2509.18154},
}