
摘要
本文聚焦于图像聚类任务中的无监督表示学习。近年来,深度聚类与无监督表示学习的进展主要基于两个核心思想:通过对输入图像采用数据增强技术生成的不同视图,在表示空间中应保持相近(即“原型一致性”),以及相似图像应具有相似的聚类分配(即“群体一致性”)。本文进一步引入一种新的一致性概念——“共识一致性”,该机制确保所学习的表示能够对表示空间中的变化、不同的聚类算法,或同一聚类算法的不同初始化方式,均产生一致的聚类划分结果。我们通过在表示空间中引入多种变体,构建了一种聚类损失函数,并将共识一致性、原型一致性与群体一致性三者无缝整合进一个端到端的学习框架中。所提出的算法——基于无监督表示学习的共识聚类(ConCURL),在五个图像数据集中的四个上,显著优于当前最先进的聚类方法。此外,本文还扩展了聚类性能的评估流程,以更真实地反映实际聚类任务中面临的挑战,例如在分布偏移(distribution shift)情形下仍保持稳定的聚类性能。我们还进行了详尽的消融实验,以深入理解所提出方法的各个组件及其贡献。代码与训练好的模型已开源,可访问 https://github.com/JayanthRR/ConCURL_NCE。
代码仓库
JayanthRR/ConCURL_NCE
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-clustering-on-cifar-10 | ConCURL | ARI: 0.715 Accuracy: 0.846 NMI: 0.762 Train set: Train |
| image-clustering-on-cifar-100 | ConCURL | ARI: 0.303 Accuracy: 0.479 NMI: 0.468 Train Set: Train |
| image-clustering-on-imagenet-10 | ConCURL | ARI: 0.909 Accuracy: 0.958 NMI: 0.907 |
| image-clustering-on-imagenet-dog-15 | ConCURL | ARI: 0.531 Accuracy: 0.695 NMI: 0.63 |
| image-clustering-on-stl-10 | ConCURL | Accuracy: 0.749 NMI: 0.636 Train Split: Train+Test |