3 个月前

FeTrIL:无样本类增量学习中的特征迁移

FeTrIL:无样本类增量学习中的特征迁移

摘要

无样本类增量学习由于灾难性遗忘的负面影响而极具挑战性。为了在保持对旧类准确率的同时有效学习新类,增量过程需要在模型的稳定性与可塑性之间取得良好平衡。现有的无样本类增量学习方法通常要么侧重于对模型进行连续微调,从而强调可塑性;要么在初始增量阶段之后固定特征提取器,从而强调稳定性。本文提出一种新方法,通过结合固定特征提取器与伪特征生成器,以优化稳定性与可塑性的平衡。该生成器采用一种简单而有效的几何平移机制,将新类特征进行变换,生成代表旧类的伪特征表示。该特征平移过程仅需存储旧类的中心特征表示即可生成其伪特征。随后,将新类的实际特征与旧类的伪特征共同输入一个线性分类器,并通过增量方式训练该分类器以区分所有类别。与主流方法需更新整个深度模型相比,本文方法的增量过程显著更快。我们在三个具有挑战性的数据集上,针对多种增量设置进行了实验。与十种现有方法的对比结果表明,本文方法在大多数情况下均取得了更优的性能。

代码仓库

g-u-n/pycil
pytorch
GitHub 中提及

基准测试

基准方法指标
incremental-learning-on-cifar-100-40-classesFeTrIL
Average Incremental Accuracy: 59.8

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
FeTrIL:无样本类增量学习中的特征迁移 | 论文 | HyperAI超神经