
摘要
现有针对连续学习任务序列的研究主要聚焦于应对灾难性遗忘问题,其假设是各任务之间差异较大,共享知识极少。也有部分研究探讨了在任务具有相似性且存在共享知识的情况下,如何将先前学习到的知识迁移至新任务。据我们所知,目前尚无任何方法能够同时处理相似与不相似任务的混合序列,既有效缓解遗忘问题,又能实现知识的正向与反向迁移。本文提出了一种新方法,能够在同一网络中同时学习这两类任务。对于差异较大的任务,算法侧重于缓解遗忘;而对于相似任务,算法则通过有选择性地将部分先前相似任务中学习到的知识迁移至当前任务,以提升学习效果。此外,该算法能够自动判断新任务是否与任一先前任务具有相似性。通过在混合任务序列上的实验评估,验证了所提模型的有效性。
代码仓库
ZixuanKe/CAT
官方
pytorch
zixuanke/pycontinual
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| continual-learning-on-20newsgroup-10-tasks | CAT | F1 - macro: 0.9516 |
| continual-learning-on-asc-19-tasks | CAT | F1 - macro: 0.6864 |
| continual-learning-on-dsc-10-tasks | CAT | F1 - macro: 0.8651 |
| continual-learning-on-f-celeba-10-tasks | CAT (CNN backbone) | Acc: 0.7564 |
| continual-learning-on-f-celeba-10-tasks | CAT (MLP backbone) | Acc: 0.6909 |