3 个月前

通过实例判别与特征去相关实现聚类友好的表示学习

通过实例判别与特征去相关实现聚类友好的表示学习

摘要

聚类是机器学习中最基础的任务之一。近年来,深度聚类已成为聚类技术的主要研究趋势。表示学习在深度聚类的性能中通常发挥着关键作用,因此也可能成为性能下降的主要原因。本文提出一种面向聚类的表示学习方法,结合实例判别(instance discrimination)与特征去相关(feature decorrelation)。所提出的基于深度学习的表示学习方法,其设计灵感源自经典谱聚类的性质:实例判别旨在学习数据样本之间的相似性,而特征去相关则用于消除特征间的冗余相关性。我们采用一种实例判别机制,通过学习每个独立样本的类别,实现对样本间相似性的有效建模。通过详尽的实验与分析,我们证明该方法能够有效适应聚类任务所需的潜在空间学习。为此,我们设计了一种新颖的基于Softmax形式的去相关约束机制。在CIFAR-10和ImageNet-10图像聚类任务上的评估结果表明,本方法分别取得了81.5%和95.4%的聚类准确率。此外,实验还验证了Softmax形式的约束与多种神经网络架构具有良好的兼容性。

基准测试

基准方法指标
image-clustering-on-cifar-10IDFD
ARI: 0.663
Accuracy: 0.815
Backbone: ResNet-18
NMI: 0.711
Train set: Train+Test
image-clustering-on-cifar-100IDFD
ARI: 0.264
Accuracy: 0.425
NMI: 0.426
Train Set: Train
image-clustering-on-imagenet-10IDFD
ARI: 0.901
Accuracy: 0.954
Image Size: 96
NMI: 0.898
image-clustering-on-imagenet-dog-15IDFD
ARI: 0.413
Accuracy: 0.591
Image Size: 96
NMI: 0.546
image-clustering-on-stl-10IDFD
Accuracy: 0.756
Backbone: ResNet-18
NMI: 0.643
Train Split: Train+Test

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
通过实例判别与特征去相关实现聚类友好的表示学习 | 论文 | HyperAI超神经