摘要

深度神经网络（DNNs）已被广泛应用于类别增量学习（class incremental learning）中，旨在解决现实世界中持续学习新类别的关键问题。然而，标准DNN的一个显著缺陷是容易发生灾难性遗忘（catastrophic forgetting）。知识蒸馏（Knowledge Distillation, KD）是一种常用的技术，用于缓解这一问题。本文证明，KD确实有助于模型在旧类别上生成更具区分性的输出。然而，KD无法有效解决模型倾向于将样本误分类为新类别的问题，从而掩盖并限制了KD的正面效果。我们观察到，导致灾难性遗忘的一个关键因素是：在类别增量学习过程中，网络最后一层全连接（Fully Connected, FC）层的权重存在显著偏差。基于上述发现，本文提出了一种简单而有效的解决方案，以缓解灾难性遗忘问题。首先，我们利用知识蒸馏来保持旧类别之间的判别能力；随后，为进一步实现旧类别与新类别之间的分类公平性，我们提出了权重对齐（Weight Aligning, WA）方法，该方法在常规训练完成后，对FC层中存在偏差的权重进行校正。与以往方法不同，WA无需引入额外参数，也不需要预先准备验证集，其核心思想是直接利用权重偏差本身所蕴含的信息进行自适应调整。所提出的方法在ImageNet-1000、ImageNet-100和CIFAR-100等多个数据集上，于多种增量学习设置下进行了评估。实验结果表明，该方法能够有效缓解灾难性遗忘问题，并显著优于当前最先进的方法。