3 个月前

少样本增量学习中的持续演进分类器

少样本增量学习中的持续演进分类器

摘要

少样本类增量学习(Few-shot Class-Incremental Learning, FSCIL)旨在设计能够从少量数据中持续学习新概念的机器学习算法,同时避免对旧类别知识的遗忘。其难点在于,新类别提供的数据量有限,不仅容易引发严重的过拟合问题,还加剧了长期存在的灾难性遗忘(catastrophic forgetting)现象。此外,由于FSCIL中训练数据按序列逐步到达,模型在每个独立会话中学习到的分类器仅能提供针对当前会话类别的判别性信息,而FSCIL任务要求在评估时涵盖所有已学习过的类别。针对上述挑战,本文从两个方面提出解决方案。首先,我们采用一种简单而有效的表示与分类器解耦学习策略:在每个增量会话中仅更新分类器参数,而保持模型主干(backbone)的表示不变。该方法有效避免了表示层的知识遗忘。在此基础上,我们证明,仅使用预训练主干网络与非参数化的类别均值分类器(non-parametric class mean classifier),即可超越现有最先进方法的性能。其次,为使各会话中独立学习的分类器能够适用于全部类别,我们提出一种持续演化的分类器(Continually Evolved Classifier, CEC),该模型通过图结构建模不同分类器之间的上下文信息传播机制,实现分类器间的自适应融合。为支持CEC的训练,我们设计了一种伪增量学习范式(pseudo incremental learning paradigm),通过从基础数据集中采样,周期性地构建伪增量学习任务,以优化图结构的参数。在三个主流基准数据集(CIFAR100、miniImageNet、Caltech-USCD Birds-200-2011,简称CUB200)上的实验表明,所提方法显著优于各类基线模型,并在多个指标上取得新的最先进(state-of-the-art)结果,展现出显著的性能优势。

代码仓库

icoz69/cec-cvpr2021
pytorch
GitHub 中提及

基准测试

基准方法指标
few-shot-class-incremental-learning-on-cifarCEC
Average Accuracy: 59.53
Last Accuracy: 49.14
few-shot-class-incremental-learning-on-miniCEC
Average Accuracy: 57.74
Last Accuracy : 47.63

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
少样本增量学习中的持续演进分类器 | 论文 | HyperAI超神经