摘要
本文的目标是设计一种简单的长尾视觉识别学习范式，不仅提高特征提取器的鲁棒性，还减轻分类器对头部类别的偏置问题，同时减少训练技巧和开销。我们提出了一种高效的长尾视觉识别单阶段训练策略，称为全局和局部混合一致性累积学习（GLMC）。我们的核心思想包含两个方面：(1) 全局和局部混合一致性损失提高了特征提取器的鲁棒性。具体而言，我们分别通过全局 MixUp 和局部 CutMix 从同一批次数据生成两个增强批次，然后使用余弦相似度最小化两者之间的差异。(2) 累积头部尾部软标签重加权损失缓解了头部类别偏置问题。我们利用经验类别频率重新加权长尾数据中头部-尾部类别的混合标签，然后通过一个随训练轮数累积的系数来平衡传统损失和再平衡损失。我们的方法在 CIFAR10-LT、CIFAR100-LT 和 ImageNet-LT 数据集上达到了最先进的准确率。此外，在平衡的 ImageNet 和 CIFAR 数据集上的实验表明，GLMC 可以显著提高骨干网络的泛化能力。代码已公开发布在 https://github.com/ynu-yangpeng/GLMC。
代码仓库
val-iisc/saddle-longtail
pytorch
GitHub 中提及
ynu-yangpeng/GLMC
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| long-tail-learning-on-cifar-10-lt-r-10 | GLMC+MaxNorm (ResNet-34, channel x4) | Error Rate: 5 |
| long-tail-learning-on-cifar-10-lt-r-10 | GLMC (ResNet-34, channel x4) | Error Rate: 5.15 |
| long-tail-learning-on-cifar-10-lt-r-100 | GLMC+MaxNorm (ResNet-34, channel x4) | Error Rate: 10.42 |
| long-tail-learning-on-cifar-10-lt-r-100 | GLMC (ResNet-34, channel x4) | Error Rate: 11.50 |
| long-tail-learning-on-cifar-100-lt-r-10 | GLMC (ResNet-34, channel x4) | Error Rate: 26.53 |
| long-tail-learning-on-cifar-100-lt-r-10 | GLMC+MaxNorm (ResNet-32, channel x4) | Error Rate: 25.72 |
| long-tail-learning-on-cifar-100-lt-r-100 | GLMC+MaxNorm (ResNet-34, channel x4) | Error Rate: 41.59 |
| long-tail-learning-on-cifar-100-lt-r-100 | GLMC (ResNet-34, channel x4) | Error Rate: 42.01 |
| long-tail-learning-on-cifar-100-lt-r-50 | GLMC (ResNet-34, channel x4) | Error Rate: 36.15 |
| long-tail-learning-on-imagenet-lt | GLMC (ResNeXt-50) | Top-1 Accuracy: 56.3 |