摘要

深度学习算法在训练数据集存在严重类别不平衡的情况下表现不佳，而测试标准却要求对较少出现的类别有良好的泛化能力。为此，我们设计了两种新颖的方法来改善此类场景下的性能。首先，我们提出了一种基于理论原理的标签分布感知边界（Label-Distribution-Aware Margin, LDAM）损失函数，该方法旨在最小化基于边界的泛化界。这种损失函数在训练过程中替代了传统的交叉熵目标，并且可以与现有的针对类别不平衡问题的重加权或重采样策略结合使用。其次，我们提出了一种简单但有效的训练计划，该计划将重加权推迟到初始阶段之后，从而使模型能够在避免一些与重加权或重采样相关的复杂性的同时学习初步表示。我们在多个基准视觉任务上测试了这些方法，包括现实世界中的不平衡数据集iNaturalist 2018。实验结果表明，单独使用这两种方法中的任何一种都可以改进现有技术，而它们的组合则能实现更好的性能提升。