4 个月前

因果无监督语义分割

因果无监督语义分割

摘要

无监督语义分割旨在在没有人工标注的情况下实现高质量的语义分组。随着自监督预训练技术的出现,各种框架利用预训练特征来训练用于无监督密集预测的预测头。然而,在这种无监督设置中,一个重要的挑战是如何确定分割概念所需的适当聚类水平。为了解决这一问题,我们提出了一种新颖的框架——因果无监督语义分割(CAUSE),该框架借鉴了因果推理的见解。具体而言,我们将干预导向的方法(即前门调整)应用于定义适合无监督预测的两步任务。第一步是构建一个概念簇集作为中介,以离散形式表示不同粒度级别的可能概念原型。然后,该中介与后续的概念级自监督学习建立明确联系,以实现像素级分组。通过在多个数据集上进行广泛的实验和分析,我们验证了CAUSE的有效性,并在无监督语义分割领域达到了最先进的性能。

代码仓库

基准测试

基准方法指标
unsupervised-semantic-segmentation-onCAUSE (DINOv2, ViT-B/14)
Accuracy: 89.8
mIoU: 29.9
unsupervised-semantic-segmentation-onCAUSE (ViT-B/8)
Accuracy: 90.8
mIoU: 28.0
unsupervised-semantic-segmentation-on-coco-6CAUSE-TR (ViT-S/8)
Pixel Accuracy: 46.6
mIoU: 15.2
unsupervised-semantic-segmentation-on-coco-7CAUSE (ViT-B/8)
Accuracy: 74.9
mIoU: 41.9
unsupervised-semantic-segmentation-on-coco-7CAUSE (DINOv2, ViT-B/14)
Accuracy: 78.0
mIoU: 45.3
unsupervised-semantic-segmentation-on-coco-8CAUSE-TR (ViT-S/8)
Pixel Accuracy: 75.2
mIoU: 21.2
unsupervised-semantic-segmentation-on-coco-8CAUSE-MLP (ViT-S/8)
Pixel Accuracy: 78.8
mIoU: 19.1
unsupervised-semantic-segmentation-on-pascal-1CAUSE (ViT-B/8)
Clustering [mIoU]: 53.3
unsupervised-semantic-segmentation-on-pascal-1CAUSE (iBOT, ViT-B/16)
Clustering [mIoU]: 53.4
unsupervised-semantic-segmentation-on-pascal-1CAUSE (DINOv2, ViT-B/14)
Clustering [mIoU]: 53.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
因果无监督语义分割 | 论文 | HyperAI超神经