3 个月前

基于构建共识的聚类表示学习

基于构建共识的聚类表示学习

摘要

本文聚焦于图像聚类任务中的无监督表示学习。近年来,深度聚类与无监督表示学习的进展主要基于两个核心思想:通过对输入图像采用数据增强技术生成的不同视图,在表示空间中应保持相近(即“原型一致性”),以及相似图像应具有相似的聚类分配(即“群体一致性”)。本文进一步引入一种新的一致性概念——“共识一致性”,该机制确保所学习的表示能够对表示空间中的变化、不同的聚类算法,或同一聚类算法的不同初始化方式,均产生一致的聚类划分结果。我们通过在表示空间中引入多种变体,构建了一种聚类损失函数,并将共识一致性、原型一致性与群体一致性三者无缝整合进一个端到端的学习框架中。所提出的算法——基于无监督表示学习的共识聚类(ConCURL),在五个图像数据集中的四个上,显著优于当前最先进的聚类方法。此外,本文还扩展了聚类性能的评估流程,以更真实地反映实际聚类任务中面临的挑战,例如在分布偏移(distribution shift)情形下仍保持稳定的聚类性能。我们还进行了详尽的消融实验,以深入理解所提出方法的各个组件及其贡献。代码与训练好的模型已开源,可访问 https://github.com/JayanthRR/ConCURL_NCE。

代码仓库

JayanthRR/ConCURL_NCE
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
image-clustering-on-cifar-10ConCURL
ARI: 0.715
Accuracy: 0.846
NMI: 0.762
Train set: Train
image-clustering-on-cifar-100ConCURL
ARI: 0.303
Accuracy: 0.479
NMI: 0.468
Train Set: Train
image-clustering-on-imagenet-10ConCURL
ARI: 0.909
Accuracy: 0.958
NMI: 0.907
image-clustering-on-imagenet-dog-15ConCURL
ARI: 0.531
Accuracy: 0.695
NMI: 0.63
image-clustering-on-stl-10ConCURL
Accuracy: 0.749
NMI: 0.636
Train Split: Train+Test

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于构建共识的聚类表示学习 | 论文 | HyperAI超神经