HyperAIHyperAI

Command Palette

Search for a command to run...

通过在线约束K均值实现无监督视觉表征学习

Qi Qian Yuanhong Xu Juhua Hu Hao Li Rong Jin

摘要

聚类判别是一种有效的无监督表示学习预训练任务,通常包括两个阶段:聚类和判别。聚类阶段为每个实例分配一个伪标签,这些伪标签将在判别阶段用于学习表示。主要挑战在于聚类,因为现有的聚类方法(例如,k-means)必须以批处理模式运行。此外,可能存在一个由主导簇构成的平凡解。为了应对这些挑战,我们首先研究了基于聚类的表示学习的目标。在此基础上,我们提出了一种新的基于聚类的预训练任务——在线Constrained K-means(CoKe)。与每个簇大小完全相同的平衡聚类相比,我们仅约束每个簇的最小大小,以便灵活捕捉数据的内在结构。更重要的是,我们的在线分配方法在理论上保证了接近全局最优解的能力。通过分离聚类和判别过程,CoKe在仅使用每个实例的一个视图进行优化时也能达到具有竞争力的性能。我们在ImageNet和其他基准数据集上进行了广泛的实验,验证了该方法的有效性和高效性。代码可在\url{https://github.com/idstcv/CoKe}获取


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供