4 个月前

扩展与量化:利用高维空间和乘积量化进行无监督语义分割

扩展与量化:利用高维空间和乘积量化进行无监督语义分割

摘要

无监督语义分割(USS)旨在在没有任何标签的情况下发现并识别有意义的类别。为了实现成功的USS,需要具备两项关键能力:1)信息压缩和2)聚类能力。以往的方法依赖于特征降维来实现信息压缩,然而这种方法可能会阻碍聚类过程。在本文中,我们提出了一种新的USS框架,称为扩展量化无监督语义分割(Expand-and-Quantize Unsupervised Semantic Segmentation, EQUSS),该框架结合了高维空间对更好聚类的优势以及乘积量化对有效信息压缩的好处。我们的大量实验表明,EQUSS在三个标准基准上取得了最先进的结果。此外,我们还分析了USS特征的熵,这是从信息论角度理解USS的第一步。

基准测试

基准方法指标
unsupervised-semantic-segmentation-onEQUSS
Accuracy: 79.9
mIoU: 22.0
unsupervised-semantic-segmentation-on-coco-7EQUSS (ViT-S)
Accuracy: 53.8
mIoU: 25.8
unsupervised-semantic-segmentation-on-coco-7EQUSS
Accuracy: 53.8
mIoU: 25.8
unsupervised-semantic-segmentation-on-potsdam-1EQUSS
Accuracy: 82.0

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
扩展与量化:利用高维空间和乘积量化进行无监督语义分割 | 论文 | HyperAI超神经