摘要

已提出多种无需密集手动标注分割掩模的无监督图像分割方法；当前模型分别处理语义分割（例如，STEGO）或类别无关实例分割（例如，CutLER），但不能同时处理两者（即全景分割）。我们提出了一种无监督通用分割模型（U2Seg），该模型通过新颖的统一框架能够执行各种图像分割任务——实例分割、语义分割和全景分割。U2Seg利用自监督模型生成这些分割任务的伪语义标签，随后进行聚类；每个聚类代表像素的不同语义和/或实例归属。然后，我们在这些伪语义标签上对模型进行自我训练，从而在针对每项任务专门设计的方法中获得显著的性能提升：在COCO数据集上的无监督实例分割中比CutLER提高了+2.6 AP(^{\text{box}})，在COCOStuff数据集上的无监督语义分割中比STEGO提高了+7.0像素准确率。此外，我们的方法为无监督全景分割建立了一个新的基准，而这一领域此前尚未被探索。U2Seg还是少样本分割的强大预训练模型，在低数据量条件下训练时表现优于CutLER，例如仅使用1%的COCO标签时，其AP(^{\text{mask}})指标高出+5.0。我们希望这一简单而有效的方法能够激发更多关于无监督通用图像分割的研究。