3 个月前

RECALL:面向目标分类的无重放持续学习

RECALL:面向目标分类的无重放持续学习

摘要

卷积神经网络在分类任务中表现出色,但在实时学习新知识方面仍面临挑战。本文提出一种无需数据回放的新型持续学习方法——RECALL。该方法使深度神经网络能够在不保存先前任务数据的前提下,持续学习全新的未见物体类别。RECALL名称源自网络在训练新类别前,通过计算旧类别的logits实现对旧类别的“回忆”,并在后续训练过程中利用这些信息防止对已有类别的参数发生改变。针对每个新类别序列,模型会动态增加一个新的分类头以容纳新增类别。为缓解灾难性遗忘问题,我们引入一种正则化策略,将传统的分类任务转化为回归任务。此外,针对已知类别,我们提出一种基于马氏距离(Mahalanobis loss)的损失函数,该函数引入类别内部方差信息,以适应已知类别与未知类别之间分布密度的变化。最后,我们构建了一个面向持续学习的新型数据集——HOWS-CL-25,专为移动机器人上的物体识别任务设计,包含150,795张合成图像,涵盖25种常见家用物体类别。实验结果表明,RECALL方法在CORe50和iCIFAR-100数据集上均超越当前最优水平,并在HOWS-CL-25数据集上取得了最佳性能。

代码仓库

dlr-rm/recall
官方
tf
GitHub 中提及

基准测试

基准方法指标
classification-on-howsRECALL
Overall accuracy after last sequence: 57.83
classification-on-hows-longRECALL
Overall accuracy after last sequence: 40,65

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
RECALL:面向目标分类的无重放持续学习 | 论文 | HyperAI超神经