摘要

现代机器学习在增量学习新类别时面临灾难性遗忘的问题。由于缺乏旧类别的数据，性能会显著下降。为了解决这一问题，已经提出了一些增量学习方法，通过知识蒸馏和保留少量旧类别的样本来保持从旧类别中获得的知识。然而，这些方法在扩展到大量类别时遇到了困难。我们认为这是由于两个因素的结合：(a) 旧类别和新类别之间的数据不平衡，以及 (b) 视觉相似类别的数量不断增加。当训练数据不平衡时，区分越来越多的视觉相似类别尤为具有挑战性。我们提出了一种简单而有效的方法来解决这一数据不平衡问题。我们发现最后一层全连接层对新类别有很强的偏向性，这种偏向可以通过线性模型进行校正。通过引入两个偏差参数，我们的方法在两个大型数据集上表现优异：ImageNet（1000个类别）和 MS-Celeb-1M（10000个类别），分别超过了现有最先进算法11.1%和13.2%。