3 个月前

用于类别增量学习的协同传输

用于类别增量学习的协同传输

摘要

传统学习系统通常在封闭世界中针对固定数量的类别进行训练,且需预先收集好数据集。然而,在现实应用场景中,新类别不断涌现,因此需要具备增量学习能力。例如,在电子商务领域,新产品每日更新;在社交媒体社区中,新话题频繁出现。在此背景下,增量学习模型需能够同时学习多个新类别,同时避免对旧类别的遗忘。我们发现,在增量学习过程中,旧类别与新类别之间存在显著的相关性,这一特性可被用于促进不同学习阶段之间的相互关联与协同。基于此,我们提出一种面向类别增量学习的协同传输方法(CO-transport for Class Incremental Learning, COIL),通过类别级语义关系实现跨增量任务的知识关联。具体而言,COIL包含两个核心机制:前瞻性传输(prospective transport)旨在通过最优传输的知识快速增强旧分类器,实现模型的快速适应;回溯性传输(retrospective transport)则将新类别的分类器向后迁移至旧类别空间,以缓解灾难性遗忘问题。通过上述双向传输机制,COIL能够高效适应新任务,并稳定地抵抗遗忘。在基准数据集与真实世界多媒体数据集上的实验结果验证了所提方法的有效性。

代码仓库

g-u-n/pycil
pytorch
GitHub 中提及
zhoudw-zdw/MM21-Coil
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
incremental-learning-on-cifar100-b0-10stepsCoil
Average Incremental Accuracy: 65.48

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于类别增量学习的协同传输 | 论文 | HyperAI超神经