摘要

开放词汇语义分割面临的核心挑战在于，需根据广泛多样的文本描述对图像中的每个像素进行标注。本文提出一种新颖的基于代价的范式，用于将视觉-语言基础模型（尤其是CLIP）适配至复杂的语义分割任务。通过聚合图像与文本嵌入之间的余弦相似度得分——即代价体积（cost volume），本方法在微调CLIP编码器的基础上，有效实现了对已见类别与未见类别的分割，解决了现有方法在处理未见类别时所面临的难题。在此基础上，我们进一步探索了如何充分考虑代价体积所具有的多模态特性（其建立于图像与文本嵌入之间）的有效聚合策略。此外，本文还系统研究了多种高效微调CLIP的方法，以提升模型在开放词汇场景下的泛化能力与分割性能。