摘要

弱监督目标定位（WSOL）在从图像类别标签中学习目标定位模型时仍然具有挑战性。传统方法通过判别训练激活模型，往往忽略了代表性但区分度较低的目标部分。本研究提出了一种生成式提示模型（GenPromp），定义了首个生成管道，通过将WSOL建模为条件图像去噪过程来定位区分度较低的目标部分。在训练过程中，GenPromp将图像类别标签转换为可学习的提示嵌入，这些嵌入被输入到生成模型中以条件恢复带有噪声的输入图像并学习代表性嵌入。在推理阶段，enPromp将代表性嵌入与区分性嵌入（从现成的视觉-语言模型中查询得到）结合，以同时具备代表性和区分性能力。最终，这些组合嵌入用于生成多尺度高质量注意力图，有助于定位整个目标范围。在CUB-200-2011和ILSVRC数据集上的实验表明，GenPromp分别比最佳判别模型提高了5.2%和5.6%（Top-1 Loc），为使用生成模型进行WSOL奠定了坚实的基础。代码可在https://github.com/callsys/GenPromp 获取。