
摘要
本文提出了一种单阶段在线聚类方法——对比聚类(Contrastive Clustering, CC),该方法显式地进行实例级与簇级的对比学习。具体而言,针对给定数据集,通过数据增强技术构建正负实例对,并将其映射至特征空间。在该特征空间中,通过最大化正例对之间的相似性、最小化负例对之间的相似性,分别在行空间和列空间中实现实例级与簇级的对比学习。我们的关键观察是:特征矩阵的行可被视为实例的软标签,相应地,其列可进一步被解释为簇的表示。通过联合优化实例级与簇级的对比损失,模型能够以端到端的方式同时学习数据表示与聚类分配。大量实验结果表明,CC在六个具有挑战性的图像基准数据集上显著优于17种先进的聚类方法。特别地,在CIFAR-10(CIFAR-100)数据集上,CC分别取得了0.705(0.431)的NMI(标准化互信息)得分,相较于最优基线方法,性能提升高达19%(39%)。
代码仓库
hoper-j/contrastive-disentangling
pytorch
GitHub 中提及
Yunfan-Li/Contrastive-Clustering
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-clustering-on-cifar-10 | CC | ARI: 0.637 Accuracy: 0.79 Backbone: ResNet34 NMI: 0.705 Train set: Train+Test |
| image-clustering-on-cifar-100 | CC | ARI: 0.266 Accuracy: 0.429 NMI: 0.431 |
| image-clustering-on-imagenet-10 | CC | ARI: 0.822 Accuracy: 0.893 Image Size: 224 NMI: 0.859 |
| image-clustering-on-imagenet-dog-15 | CC | ARI: 0.274 Accuracy: 0.429 Image Size: 224 NMI: 0.445 |
| image-clustering-on-stl-10 | CC | Accuracy: 0.85 Backbone: ResNet34 NMI: 0.764 Train Split: Train+Test |
| image-clustering-on-tiny-imagenet | CC | ARI: 0.071 Accuracy: 0.14 NMI: 0.34 |