摘要

区域级图像描述任务面临的一个主要挑战是描述退化问题（caption degeneration），即预训练的多模态模型倾向于生成最常见的描述，而忽略那些出现频率较低的描述。为解决这一问题，本文提出了一种可控制的区域级图像描述方法——ControlCap。该方法通过向多模态模型引入控制词（control words），实现对生成过程的有效调控。具体而言，ControlCap利用一个判别性模块在描述空间内生成控制词，从而将整个描述空间划分为多个子空间。多模态模型被约束在包含特定控制词的少数子空间内生成描述，这显著提升了生成低频描述的可能性，有效缓解了描述退化问题。此外，控制词可由人类或专家模型交互式提供，使模型能够生成超出训练数据描述空间的内容，从而增强模型的泛化能力。在Visual Genome和RefCOCOg数据集上的大量实验表明，ControlCap分别将CIDEr得分提升了21.6和2.2，显著优于现有最先进方法。代码已开源，地址为：https://github.com/callsys/ControlCap。