
摘要
流形学习(Manifold Learning, ML)旨在从高维数据中提取低维嵌入表示。在真实世界数据集上,该问题具有挑战性,尤其是在数据欠采样的情况下,我们发现以往的方法在此类场景下表现不佳。通常,流形学习方法首先将输入数据映射到低维嵌入空间,以保留数据的几何结构,随后在该空间中执行下游任务。然而,由于在前一阶段欠采样数据导致局部连通性差,以及在后一阶段优化目标设计不当,从而引发两个关键问题:结构失真(structural distortion)和嵌入欠约束(underconstrained embedding)。本文提出一种新型流形学习框架——深度局部平坦流形嵌入(Deep Local-flatness Manifold Embedding, DLME),以有效解决上述问题。所提出的DLME通过数据增强构建语义流形,并基于流形的局部平坦性假设引入平滑性约束,从而缓解结构失真问题。为应对嵌入欠约束问题,我们设计了一种新型损失函数,并从理论上证明该损失函数能够引导生成更具几何合理性的低维嵌入表示,其依据正是局部平坦性假设。在三类典型数据集(合成数据、生物数据与图像数据)上,针对分类、聚类和可视化等多种下游任务的实验结果表明,所提出的DLME在性能上显著优于当前最先进的流形学习方法以及对比学习方法。
代码仓库
Westlake-AI/openmixup
pytorch
zangzelin/code_ECCV2022_DLME
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-classification-on-cifar-10 | DLME (ResNet-18, linear) | Percentage correct: 91.3 |
| image-classification-on-cifar-100 | DLME (ResNet-18, linear) | Percentage correct: 66.1 |
| image-classification-on-imagenet-100 | DLME (ResNet-50, linear) | Percentage correct: 79.3 |
| image-classification-on-stl-10 | DLME (ResNet-50, linear) | Percentage correct: 90.1 |
| image-classification-on-tiny-imagenet-2 | DLME (ResNet-18, linear) | Top 1 Accuracy: 44.9 |