3 个月前

基于采样多阶段任务的少样本类增量学习

基于采样多阶段任务的少样本类增量学习

摘要

在不断变化的世界中,新类别频繁涌现,例如社交媒体中的新兴话题或电子商务中的新型产品。模型需要能够识别新类别,同时保持对旧类别的区分能力。在极端情况下,仅能获得少量新类别的实例,用于逐步更新模型。在不遗忘旧类别前提下识别少量样本新类别的任务,被称为少样本类增量学习(Few-Shot Class-Incremental Learning, FSCIL)。本文提出一种基于元学习的新型FSCIL范式——通过学习多阶段增量任务(LearnIng Multi-phase Incremental Tasks, LIMIT),该方法从基础数据集中合成虚假的FSCIL任务。这些虚假任务的数据格式与真实的增量任务保持一致,从而可通过元学习构建一个对未见任务具有泛化能力的特征空间。此外,LIMIT还设计了一种基于Transformer的校准模块,用于将旧类别分类器与新类别原型统一到同一尺度,弥合语义鸿沟;该模块还通过集合到集合(set-to-set)函数,自适应地对实例级嵌入进行上下文建模。实验结果表明,LIMIT在三个基准数据集(CIFAR100、miniImageNet、CUB200)以及大规模数据集ImageNet ILSVRC2012上均取得了当前最优的性能,展现出优异的新类别适应能力与对旧类别的抗遗忘特性。

代码仓库

zhoudw-zdw/TPAMI-Limit
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
few-shot-class-incremental-learning-on-cifarLIMIT
Average Accuracy: 61.85
Last Accuracy: 51.23
few-shot-class-incremental-learning-on-miniLIMIT
Average Accuracy: 59.06
Last Accuracy : 49.19

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于采样多阶段任务的少样本类增量学习 | 论文 | HyperAI超神经