摘要

现实世界中的数据通常呈现不平衡且长尾分布的特点，而深度模型在面对频繁类别时，往往难以有效识别稀有类别。为应对数据不平衡问题，现有大多数研究致力于通过平衡数据分布、损失函数或分类器来缓解对头部类别的分类偏差。然而，针对在不平衡数据下学习得到的隐式表示（latent representations）的研究却相对较少。本文发现，深度网络中的特征提取器部分严重受到此类偏差的影响。为此，我们提出一种基于鲁棒性理论的新损失函数，旨在促使模型为头部和尾部类别均学习到高质量的特征表示。尽管该鲁棒性损失的一般形式在计算上可能较为复杂，我们进一步推导出一个易于计算的上界，该上界可被高效优化。该方法显著降低了特征空间中对头部类别的表示偏差，在CIFAR100-LT、ImageNet-LT以及iNaturalist等长尾基准数据集上均取得了新的最先进（SOTA）性能。实验结果表明，采用鲁棒性训练不仅显著提升了尾部类别的识别准确率，同时几乎未牺牲头部类别的性能。所提出的鲁棒性损失可与多种分类器平衡技术兼容，并适用于深度模型中多个层次的特征表示，具有良好的通用性与可扩展性。