摘要

大规模多模态模型（Large Multimodal Models, LMMs）在众多视觉任务中展现出令人瞩目的能力。然而，它们在细粒度视觉推理方面仍面临挑战，往往难以识别特定领域的目标，并为其预测提供可解释的依据。为解决这一问题，我们提出一种新颖的视觉拒绝采样（visual rejection sampling）框架，通过自合成数据提升LMMs的认知能力与可解释性。具体而言，视觉微调需要图像、查询问题以及目标答案。我们的方法首先生成具有可解释性的答案，其中包含人类可验证的视觉特征。这些特征基于专家定义的概念构建，并经过精心筛选，以确保其与图像内容高度一致。在每轮微调完成后，我们采用无需奖励模型的过滤机制，筛选出质量最高的可解释性答案，用于下一轮微调。这一数据合成与微调交替进行的迭代过程，逐步增强模型生成准确且合理解释的能力。实验结果表明，该方法在提升特定视觉分类任务的准确性与可解释性方面均具有显著效果。