摘要

传统上，深度神经网络采用离线训练方式，依赖于预先准备好的大规模数据集。然而，在实际应用中，这一范式常面临挑战，例如在涉及持续数据流的在线服务场景下。近年来，增量学习（incremental learning）受到越来越多关注，被视为应对上述实际挑战的有前景解决方案。然而，研究发现，增量学习面临一个根本性难题——灾难性遗忘（catastrophic forgetting），即模型在适应新数据的同时，往往导致对先前任务或类别的性能显著下降。我们的研究揭示，旧数据与新数据之间的不平衡是造成该问题的关键原因。为此，本文提出一种新的框架，用于增量式学习统一分类器（即对旧类别与新类别一视同仁的分类器）。具体而言，我们引入三个核心组件：余弦归一化（cosine normalization）、少遗忘约束（less-forget constraint）以及类间分离机制（inter-class separation），以缓解数据不平衡带来的负面影响。实验结果表明，所提出的方法能够有效平衡训练过程，在多个基准数据集上显著优于现有方法。在CIFAR-100和ImageNet数据集上，于10个增量阶段的设定下，分类错误率分别降低了超过6%和13%。