摘要
本研究探讨了基于质心的深度聚类（DC）算法中的一个重要现象：性能在初期迅速提升后很快达到饱和状态。实践者通常通过周期性重新聚类来应对早期饱和问题，但我们证明这种方法不足以解决性能平台期。我们将这一现象称为“重新聚类障碍”，并通过实证分析展示了重新聚类障碍发生的时间、其潜在机制以及如何利用我们的算法BRB打破这一障碍。BRB避免了对初始聚类的过早过度承诺，并能够在保持概念简单的同时实现对重新初始化聚类目标的持续适应。我们将该算法应用于广泛使用的基于质心的DC算法，结果表明：(1) BRB在广泛的聚类基准测试中始终提高性能；(2) BRB支持从头开始训练；(3) 当与对比损失结合时，BRB在性能上能够与最先进的DC算法相媲美。我们已将代码和预训练模型发布在https://github.com/Probabilistic-and-Interactive-ML/breaking-the-reclustering-barrier 。
代码仓库
probabilistic-and-interactive-ml/breaking-the-reclustering-barrier
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-clustering-on-cifar-10 | DEC+BRB | ARI: 0.812 Accuracy: 0.906 Backbone: ResNet-18 NMI: 0.826 Train set: Train |
| image-clustering-on-cifar-10 | IDEC+BRB | ARI: 0.818 Accuracy: 0.907 Backbone: ResNet-18 NMI: 0.833 Train set: Train |
| image-clustering-on-cifar-10 | DCN+BRB | ARI: 0.824 Accuracy: 0.912 Backbone: ResNet-18 NMI: 0.837 Train set: Train |
| unsupervised-image-classification-on-cifar-20 | IDEC+BRB | ARI: 38.81 Accuracy: 55.43 NMI: 54.81 |
| unsupervised-image-classification-on-cifar-20 | DCN+BRB | ARI: 41.15 Accuracy: 56.92 NMI: 56.76 |
| unsupervised-image-classification-on-cifar-20 | DEC+BRB | ARI: 35.05 Accuracy: 50.46 NMI: 51.72 |