
摘要
顺序学习任务的能力对于人工智能的发展至关重要。神经网络通常并不具备这种能力,普遍认为灾难性遗忘是连接主义模型不可避免的特征。我们证明了可以克服这一限制,训练出能够在长时间未接触某些任务的情况下仍能保持专长的网络。我们的方法通过选择性地减缓对这些任务重要的权重的学习速度来记住旧任务。我们通过解决基于MNIST手写数字数据集的一系列分类任务以及顺序学习多个Atari 2600游戏,展示了该方法的可扩展性和有效性。
代码仓库
srvCodes/continual-learning-benchmark
pytorch
GitHub 中提及
xduan7/hat-cl
pytorch
GitHub 中提及
nvshrao/Elastic-Weight-Consolidation
GitHub 中提及
catid/never_forget
pytorch
GitHub 中提及
King-Of-Knights/overcoming-catastrophic
GitHub 中提及
daskol/paper-reviews
GitHub 中提及
stijani/elastic-weight-consolidation-tf2
tf
GitHub 中提及
ContinualAI/avalanche
pytorch
aimagelab/mammoth
pytorch
mu-y/lll-tts
pytorch
GitHub 中提及
ethz-asl/background_foreground_segmentation
tf
GitHub 中提及
shivamsaboo17/overcoming-catastrophic-forgetting-in-neural-networks
pytorch
GitHub 中提及
wyatuestc/overcoming-catastrophic
tf
GitHub 中提及
wannabeOG/MAS-PyTorch
pytorch
GitHub 中提及
mmasana/FACIL
pytorch
PCJohn/cata-forget
tf
GitHub 中提及
dalxndr/NEURO140
tf
GitHub 中提及
kamsyn95/CL_DNN
pytorch
GitHub 中提及
ariseff/overcoming-catastrophic
tf
GitHub 中提及
wjmacro/continualmt
pytorch
GitHub 中提及
g-u-n/pycil
pytorch
GitHub 中提及
fionisarnen/Lifelong-Learning-churn-prediction-torch
pytorch
GitHub 中提及
Minhchuyentoancbn/Continual-Learning
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| continual-learning-on-20newsgroup-10-tasks | EWC | F1 - macro: 0.9180 |
| continual-learning-on-asc-19-tasks | L2 | F1 - macro: 0.5243 |
| continual-learning-on-asc-19-tasks | EWC | F1 - macro: 0.7452 |
| continual-learning-on-dsc-10-tasks | EWC | F1 - macro: 0.6576 |
| continual-learning-on-f-celeba-10-tasks | EWC | Acc: 0.6545 |