摘要

我们提出了一种极简且可解释的无监督学习方法，无需依赖数据增强、超参数调优或其他工程设计，即可实现接近当前最佳（SOTA）自监督学习（SSL）方法的性能。我们的方法利用了稀疏流形变换，该变换统一了稀疏编码、流形学习和慢特征分析。通过一层确定性的稀疏流形变换，可以在MNIST数据集上达到99.3%的K近邻（KNN）顶级准确率，在CIFAR-10数据集上达到81.1%的KNN顶级准确率，在CIFAR-100数据集上达到53.2%的KNN顶级准确率。采用简单的灰度增强后，模型在CIFAR-10上的KNN顶级准确率提升至83.2%，在CIFAR-100上的KNN顶级准确率提升至57%。这些结果显著缩小了简单“白盒”方法与当前最佳方法之间的差距。此外，我们提供了可视化解释，以展示无监督表示变换是如何形成的。所提出的这种方法与潜在嵌入自监督方法密切相关，可以视为VICReg的最简化形式。尽管我们的简单构造模型与当前最佳方法之间仍存在一定的性能差距，但证据表明这是一个实现原则性和“白盒”无监督学习方法的有前景的方向。