摘要
现实世界中的训练数据通常呈现长尾分布，即少数几个多数类别的样本数量远超其余少数类别。这种样本分布的不均衡会显著降低传统监督学习算法的性能，而这些算法通常针对平衡数据集进行设计。本文通过引入一种近期提出的隐式语义数据增强（Implicit Semantic Data Augmentation, ISDA）算法，对少数类别进行数据增强，以缓解该问题。ISDA 通过沿多个语义上具有意义的方向对深层特征进行变换，生成多样化的增强样本。然而，值得注意的是，由于 ISDA 需要估计类别条件统计量以获取语义方向，而在少数类别上因训练样本不足，该估计效果不佳。为此，本文提出一种基于元学习的新型方法，自动学习经过变换的语义方向。具体而言，在训练过程中，增强策略被动态优化，目标是最小化在小型平衡验证集上的损失，该验证集通过元更新步骤进行近似。在 CIFAR-LT-10/100、ImageNet-LT 以及 iNaturalist 2017/2018 等多个数据集上的大量实验证明了所提方法的有效性。
代码仓库
BIT-DA/MetaSAug
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-classification-on-inaturalist | MetaSAug | Top 1 Accuracy: 63.28% |
| image-classification-on-inaturalist-2018 | MetaSAug | Top-1 Accuracy: 68.75% |
| long-tail-learning-on-cifar-10-lt-r-10 | MetaSAug-LDAM | Error Rate: 10.32 |
| long-tail-learning-on-cifar-10-lt-r-100 | MetaSAug-LDAM | Error Rate: 19.34 |
| long-tail-learning-on-cifar-10-lt-r-200 | MetaSAug-LDAM | Error Rate: 22.65 |
| long-tail-learning-on-cifar-10-lt-r-50 | MetaSAug-LDAM | Error Rate: 15.66 |
| long-tail-learning-on-cifar-100-lt-r-10 | MetaSAug-LDAM | Error Rate: 38.72 |
| long-tail-learning-on-cifar-100-lt-r-100 | MetaSAug-LDAM | Error Rate: 51.99 |
| long-tail-learning-on-cifar-100-lt-r-200 | MetaSAug-LDAM | Error Rate: 56.91 |
| long-tail-learning-on-cifar-100-lt-r-50 | MetaSAug-LDAM | Error Rate: 47.73 |
| long-tail-learning-on-imagenet-lt | MetaSAug with CE loss | Top-1 Accuracy: 47.39 |
| long-tail-learning-on-imagenet-lt | MetaSAug (ResNet-152) | Top-1 Accuracy: 50.03 |
| long-tail-learning-on-inaturalist-2018 | MetaSAug | Top-1 Accuracy: 68.75% |