3 个月前

探索深度子空间聚类的原理性框架

探索深度子空间聚类的原理性框架

摘要

子空间聚类是一种经典的无监督学习任务,其基本假设是高维数据可由多个子空间的并集(Union of Subspaces, UoS)近似表示。然而,现实世界中的数据往往偏离这一UoS假设。为应对这一挑战,当前先进的深度子空间聚类算法尝试联合学习UoS表示与自表达系数。然而,现有算法的通用框架存在特征空间崩溃(catastrophic feature collapse)问题,且缺乏理论保障以确保学习到理想的UoS表示。本文提出一种原理性深度子空间聚类框架——PRO-DSC(Principled fRamewOrk for Deep Subspace Clustering),旨在统一地学习结构化表示与自表达系数。具体而言,在PRO-DSC中,我们向自表达模型中引入一种有效的正则化项,用于约束学习到的表示,并理论证明:在特定条件下,该正则化自表达模型能够有效防止特征空间崩溃,且学习到的最优表示位于一组正交子空间的并集中。此外,本文还提出一种可扩展且高效的实现方法,通过大量实验验证了理论分析的正确性,并充分展示了所提出的深度子空间聚类方法在性能上的显著优势。

基准测试

基准方法指标
image-clustering-on-cifar-10PRO-DSC
Accuracy: 0.972
NMI: 0.928
image-clustering-on-cifar-100PRO-DSC
Accuracy: 0.773
NMI: 0.824
image-clustering-on-imagenetPRO-DSC
Accuracy: 65.0
NMI: 83.4
image-clustering-on-imagenet-dog-15PRO-DSC
Accuracy: 0.840
NMI: 0.812
image-clustering-on-tiny-imagenetPRO-DSC
Accuracy: 0.698
NMI: 0.805
unsupervised-image-classification-on-cifar-20PRO-DSC
Accuracy: 71.6
NMI: 73.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供