摘要

开放词汇密集预测任务，包括目标检测和图像分割，已经因对比语言-图像预训练（CLIP）的成功而取得了进展。特别是结合了视觉变换器（ViTs）的CLIP模型，在零样本图像分类中表现出显著的泛化能力。然而，当将CLIP的视觉-语言对齐从全局图像表示转移到局部区域表示时，用于开放词汇密集预测任务的CLIP ViTs会受到从完整图像到局部图像区域的域迁移问题的影响。在本文中，我们深入分析了CLIP模型中的区域-语言对齐问题，这对于下游的开放词汇密集预测任务至关重要。随后，我们提出了一种名为CLIPSelf的方法，该方法无需任何区域-文本对即可将CLIP ViT的图像级识别能力适应到局部图像区域。CLIPSelf通过将从其密集特征图中提取的区域表示与相应图像裁剪的图像级表示进行对齐，从而增强ViTs的能力。借助改进后的CLIP ViTs，我们在多个基准测试中实现了开放词汇目标检测、语义分割和全景分割的新最先进性能。模型和代码已发布在https://github.com/wusize/CLIPSelf。