摘要

多模态大语言模型（Multimodal Large Language Models, MLLMs）近年来在多模态理解、推理与交互方面展现出令人瞩目的能力。然而，现有MLLMs普遍面临严重的幻觉问题，即生成的文本与关联图像缺乏事实依据，导致模型输出不可信，难以在现实世界应用中（尤其是高风险场景）可靠使用。为应对这一挑战，我们提出RLHF-V，通过细粒度修正型人类反馈实现行为对齐，从而提升MLLM的可信度。具体而言，RLHF-V收集人类在文本片段层面针对幻觉现象的修正反馈，并在此基础上进行密集的直接偏好优化（dense direct preference optimization）。在五个基准测试中开展的全面实验（涵盖自动评估与人工评估）表明，RLHF-V能够显著提升MLLM的可信行为表现，同时具备出色的训练数据与计算效率。值得注意的是，仅使用1,400个标注样本，RLHF-V便将基础MLLM的幻觉率降低34.8%，显著优于基于10,000个标注样本训练的同期模型LLaVA-RLHF。最终模型在开源MLLM中达到了当前最先进的可信度水平，并在防止因过度泛化引发的幻觉方面，表现出优于GPT-4V的鲁棒性。相关代码、模型及数据已开源，访问地址为：https://github.com/RLHF-V/RLHF-V。