RLAIF-V 数据集是一个由 AI 生成的多模态偏好数据集，它覆盖了各种任务和领域。该数据集包含超过 44,757 组高质量的对比对，用于训练和评估多模态大型语言模型 (MLLMs）。 RLAIF-V 数据集通过一个新颖的方法，采用开源大模型来对模型响应进行去混杂处理，并提供高质量的反馈数据，以减少不同 MLLMs 的幻觉现象。

此外，RLAIF-V 数据集还用于训练 MiniCPM-Llama3-V 2.5 模型，这代表了第一个端侧 GPT-4V 级别的 MLLM17 。 RLAIF-V 项目已经开源了代码、权重 (7B 、 12B) 和数据，以便研究社区使用和进一步研究。

RLAIF-V 数据集的主要特点包括：

1. 高质量反馈数据：数据集使用的有效减少不同 MLLMs 的幻觉。
2. 开源：数据集是完全开源的，允许研究者自由访问和使用。
3. 多任务和多领域：数据集涵盖广泛的任务和领域，提供多样化的偏好数据。

RLAIF-V 数据集的许可证是 CC BY NC 4.0，仅允许非商业用途，并且使用该数据集训练的模型不应在研究目的之外使用。