3 个月前

基于解耦内部表示的k-Means聚类性能提升

基于解耦内部表示的k-Means聚类性能提升

摘要

深度聚类算法通过联合优化聚类损失与非聚类损失,将表示学习与聚类过程相结合。在这些方法中,通常采用深度神经网络进行表示学习,并辅以聚类网络。然而,不同于上述框架以提升聚类性能为目标,本文提出一种更为简洁的方法:通过优化自编码器所学习到的潜在表示的纠缠度(entanglement)来实现聚类。我们定义纠缠度为同一类别或结构中点对之间的相对紧密程度,相较于不同类别或结构之间的点对。为衡量数据点的纠缠度,我们采用软最近邻损失(soft nearest neighbor loss),并引入退火温度(annealing temperature)因子对其进行扩展。实验结果表明,采用该方法在MNIST数据集上的测试聚类准确率达到96.2%,在Fashion-MNIST数据集上达到85.6%,在EMNIST Balanced数据集上达到79.2%,均优于所设定的基线模型。

代码仓库

基准测试

基准方法指标
image-classification-on-emnist-balancedSNNL-5
Accuracy: 78.5
NMI: 77.6
image-classification-on-fashion-mnistSNNL-5
Accuracy: 84.4
NMI: 76.2
image-classification-on-mnistSNNL-5
Accuracy: 95.5
image-clustering-on-emnist-balancedSNNL-8
Accuracy: 0.35
NMI: 0.442
image-clustering-on-emnist-balancedAE+SNNL
Accuracy: 0.792
NMI: 0.783
image-clustering-on-fashion-mnistSNNL-4
Accuracy: 0.555
NMI: 0.574
image-clustering-on-mnistSNNL-7
NMI: 0.891
image-clustering-on-mnist-testAE+SNNL
Accuracy: 0.962
NMI: 0.903

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于解耦内部表示的k-Means聚类性能提升 | 论文 | HyperAI超神经