摘要

我们提出了一种新型的开放词汇通用图像分割方法，能够在统一框架下实现实例分割、语义分割与全景分割。该方法名为MasQCLIP，通过利用预训练CLIP模型的密集特征，无缝集成至CLIP架构中，从而避免了对大量参数进行冗长训练的需要。在基于CLIP模型构建图像分割方法时，MasQCLIP引入了两个创新设计：1）采用师生（student-teacher）模块，通过从基础（已见）类别中蒸馏信息，有效处理新型（未见）类别的分割任务；2）引入微调过程，用于更新CLIP模型中查询向量Q的模型参数。得益于这两个简洁而直观的设计，MasQCLIP在所有三项任务——开放词汇实例分割、语义分割与全景分割——上均取得了当前最优性能，显著超越现有方法，提升幅度显著。项目主页详见：https://masqclip.github.io/。