摘要

CLIP 由于在大规模图像-文本对上的强大预训练，在视觉识别任务中已展现出显著进展。然而，一个关键挑战依然存在：如何将图像级别的知识有效迁移至像素级别的理解任务，例如语义分割。本文针对这一挑战，深入分析了 CLIP 模型能力与零样本语义分割任务需求之间的差距。基于上述分析与观察，我们提出了一种新型的零样本语义分割方法——CLIP-RC（CLIP with Regional Clues），并提出了两个核心见解：其一，需要构建一个区域级别的桥梁，以提供细粒度的语义信息；其二，在训练阶段需有效缓解过拟合问题。得益于上述发现，CLIP-RC 在多个零样本语义分割基准测试中取得了当前最优性能，涵盖 PASCAL VOC、PASCAL Context 以及 COCO-Stuff 164K 数据集。代码将公开于 https://github.com/Jittor/JSeg。