摘要

聚类判别是一种有效的无监督表示学习预训练任务，通常包括两个阶段：聚类和判别。聚类阶段为每个实例分配一个伪标签，这些伪标签将在判别阶段用于学习表示。主要挑战在于聚类，因为现有的聚类方法（例如，k-means）必须以批处理模式运行。此外，可能存在一个由主导簇构成的平凡解。为了应对这些挑战，我们首先研究了基于聚类的表示学习的目标。在此基础上，我们提出了一种新的基于聚类的预训练任务——在线Constrained K-means（CoKe）。与每个簇大小完全相同的平衡聚类相比，我们仅约束每个簇的最小大小，以便灵活捕捉数据的内在结构。更重要的是，我们的在线分配方法在理论上保证了接近全局最优解的能力。通过分离聚类和判别过程，CoKe在仅使用每个实例的一个视图进行优化时也能达到具有竞争力的性能。我们在ImageNet和其他基准数据集上进行了广泛的实验，验证了该方法的有效性和高效性。代码可在\url{https://github.com/idstcv/CoKe}获取。