4 个月前

iCaRL:增量分类器和表示学习

iCaRL:增量分类器和表示学习

摘要

在通向人工智能的道路上,一个主要的开放问题是开发能够从数据流中逐步学习越来越多概念的系统。在这项工作中,我们引入了一种新的训练策略——iCaRL(类增量学习),该策略允许以类增量的方式进行学习:只需同时提供少量类别的训练数据,新类别可以逐步添加。iCaRL 同时学习强大的分类器和数据表示。这使其区别于早期的工作,后者从根本上局限于固定的 数据表示,因此与深度学习架构不兼容。通过在 CIFAR-100 和 ImageNet ILSVRC 2012 数据集上的实验,我们展示了 iCaRL 可以在很长一段时间内逐步学习许多类别,而其他策略则很快失效。

代码仓库

srebuffi/iCaRL
官方
tf
GitHub 中提及
yaoyao-liu/mnemonics
pytorch
GitHub 中提及
donlee90/icarl
pytorch
GitHub 中提及
g-u-n/pycil
pytorch
GitHub 中提及
DRSAD/iCaRL
pytorch
GitHub 中提及

基准测试

基准方法指标
class-incremental-learning-on-cifar100iCaRL
10-stage average accuracy: 63.24
incremental-learning-on-cifar-100-50-classes-2iCaRL*
Average Incremental Accuracy: 52.57
incremental-learning-on-cifar-100-50-classes-3iCaRL*
Average Incremental Accuracy: 57.17
incremental-learning-on-cifar-100-50-classes-4iCaRL
Average Incremental Accuracy: 71.33
incremental-learning-on-cifar-100-b0-5stepsiCaRL
Average Incremental Accuracy: 71.14
incremental-learning-on-imagenet-10-stepsiCaRL
# M Params: 11.68
Average Incremental Accuracy: 38.40
Average Incremental Accuracy Top-5: 63.70
Final Accuracy: 22.70
Final Accuracy Top-5: 44.00
incremental-learning-on-imagenet-100-50-3iCaRL*
Average Incremental Accuracy: 65.56
incremental-learning-on-imagenet100-10-stepsiCaRL
# M Params: 11.22
Average Incremental Accuracy Top-5: 83.60
Final Accuracy Top-5: 63.80

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
iCaRL:增量分类器和表示学习 | 论文 | HyperAI超神经