
摘要
无监督语义分割旨在在没有人工标注的情况下实现高质量的语义分组。随着自监督预训练技术的出现,各种框架利用预训练特征来训练用于无监督密集预测的预测头。然而,在这种无监督设置中,一个重要的挑战是如何确定分割概念所需的适当聚类水平。为了解决这一问题,我们提出了一种新颖的框架——因果无监督语义分割(CAUSE),该框架借鉴了因果推理的见解。具体而言,我们将干预导向的方法(即前门调整)应用于定义适合无监督预测的两步任务。第一步是构建一个概念簇集作为中介,以离散形式表示不同粒度级别的可能概念原型。然后,该中介与后续的概念级自监督学习建立明确联系,以实现像素级分组。通过在多个数据集上进行广泛的实验和分析,我们验证了CAUSE的有效性,并在无监督语义分割领域达到了最先进的性能。
代码仓库
ByungKwanLee/Causal-Unsupervised-Segmentation
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| unsupervised-semantic-segmentation-on | CAUSE (DINOv2, ViT-B/14) | Accuracy: 89.8 mIoU: 29.9 |
| unsupervised-semantic-segmentation-on | CAUSE (ViT-B/8) | Accuracy: 90.8 mIoU: 28.0 |
| unsupervised-semantic-segmentation-on-coco-6 | CAUSE-TR (ViT-S/8) | Pixel Accuracy: 46.6 mIoU: 15.2 |
| unsupervised-semantic-segmentation-on-coco-7 | CAUSE (ViT-B/8) | Accuracy: 74.9 mIoU: 41.9 |
| unsupervised-semantic-segmentation-on-coco-7 | CAUSE (DINOv2, ViT-B/14) | Accuracy: 78.0 mIoU: 45.3 |
| unsupervised-semantic-segmentation-on-coco-8 | CAUSE-TR (ViT-S/8) | Pixel Accuracy: 75.2 mIoU: 21.2 |
| unsupervised-semantic-segmentation-on-coco-8 | CAUSE-MLP (ViT-S/8) | Pixel Accuracy: 78.8 mIoU: 19.1 |
| unsupervised-semantic-segmentation-on-pascal-1 | CAUSE (ViT-B/8) | Clustering [mIoU]: 53.3 |
| unsupervised-semantic-segmentation-on-pascal-1 | CAUSE (iBOT, ViT-B/16) | Clustering [mIoU]: 53.4 |
| unsupervised-semantic-segmentation-on-pascal-1 | CAUSE (DINOv2, ViT-B/14) | Clustering [mIoU]: 53.2 |