
摘要
无样本类增量学习由于灾难性遗忘的负面影响而极具挑战性。为了在保持对旧类准确率的同时有效学习新类,增量过程需要在模型的稳定性与可塑性之间取得良好平衡。现有的无样本类增量学习方法通常要么侧重于对模型进行连续微调,从而强调可塑性;要么在初始增量阶段之后固定特征提取器,从而强调稳定性。本文提出一种新方法,通过结合固定特征提取器与伪特征生成器,以优化稳定性与可塑性的平衡。该生成器采用一种简单而有效的几何平移机制,将新类特征进行变换,生成代表旧类的伪特征表示。该特征平移过程仅需存储旧类的中心特征表示即可生成其伪特征。随后,将新类的实际特征与旧类的伪特征共同输入一个线性分类器,并通过增量方式训练该分类器以区分所有类别。与主流方法需更新整个深度模型相比,本文方法的增量过程显著更快。我们在三个具有挑战性的数据集上,针对多种增量设置进行了实验。与十种现有方法的对比结果表明,本文方法在大多数情况下均取得了更优的性能。
代码仓库
gregoirepetit/fetril
官方
pytorch
g-u-n/pycil
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| incremental-learning-on-cifar-100-40-classes | FeTrIL | Average Incremental Accuracy: 59.8 |