摘要
现实世界的数据集普遍存在不同类型和程度的类别不平衡问题。为提升神经网络在少数类上的性能，通常采用基于损失重加权和边界调整的技术。本文通过分析采用重加权与基于边界技术训练的神经网络的损失景观（loss landscape），深入研究了类别不平衡学习问题。具体而言，我们考察了各类别损失的Hessian矩阵的谱密度，发现网络权重在少数类的损失景观中会收敛至鞍点（saddle point）。基于这一观察，我们进一步发现，旨在逃离鞍点的优化方法可有效提升少数类的泛化性能。我们从理论和实验两个层面进一步证明，近期提出的Sharpness-Aware Minimization（SAM）方法——该方法通过引导模型收敛至平坦的极小值点，能够有效帮助模型逃离少数类的鞍点。实验结果表明，相较于当前最先进的Vector Scaling Loss方法，采用SAM在少数类上的准确率提升了6.2%，在各类不平衡数据集上的整体平均准确率也提升了4%。相关代码已公开，地址为：https://github.com/val-iisc/Saddle-LongTail。
代码仓库
val-iisc/saddle-longtail
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| long-tail-learning-on-cifar-10-lt-r-10 | LDAM + DRW + SAM | Error Rate: 10.6 |
| long-tail-learning-on-cifar-10-lt-r-100 | VS + SAM | Error Rate: 17.6 |
| long-tail-learning-on-cifar-10-lt-r-100 | GLMC + SAM | Error Rate: 10.82 |
| long-tail-learning-on-cifar-10-lt-r-200 | LDAM + DRW + SAM | Error Rate: 21.9 |
| long-tail-learning-on-cifar-10-lt-r-50 | GLMC + SAM | Error Rate: 8.44 |
| long-tail-learning-on-cifar-100-lt-r-100 | PaCo + SAM | Error Rate: 47.0 |
| long-tail-learning-on-cifar-100-lt-r-100 | GLMC + SAM | Error Rate: 40.99 |
| long-tail-learning-on-cifar-100-lt-r-100 | VS + SAM | Error Rate: 53.4 |
| long-tail-learning-on-cifar-100-lt-r-200 | PaCo + SAM | Error Rate: 52.0 |
| long-tail-learning-on-cifar-100-lt-r-50 | GLMC + SAM | Error Rate: 34.72 |
| long-tail-learning-on-imagenet-lt | LDAM + DRW + SAM | Top-1 Accuracy: 53.1 |
| long-tail-learning-on-inaturalist-2018 | LDAM + DRW + SAM | Top-1 Accuracy: 70.1 |