4 个月前

克服神经网络中的灾难性遗忘

克服神经网络中的灾难性遗忘

摘要

顺序学习任务的能力对于人工智能的发展至关重要。神经网络通常并不具备这种能力,普遍认为灾难性遗忘是连接主义模型不可避免的特征。我们证明了可以克服这一限制,训练出能够在长时间未接触某些任务的情况下仍能保持专长的网络。我们的方法通过选择性地减缓对这些任务重要的权重的学习速度来记住旧任务。我们通过解决基于MNIST手写数字数据集的一系列分类任务以及顺序学习多个Atari 2600游戏,展示了该方法的可扩展性和有效性。

代码仓库

xduan7/hat-cl
pytorch
GitHub 中提及
catid/never_forget
pytorch
GitHub 中提及
daskol/paper-reviews
GitHub 中提及
mu-y/lll-tts
pytorch
GitHub 中提及
wannabeOG/MAS-PyTorch
pytorch
GitHub 中提及
PCJohn/cata-forget
tf
GitHub 中提及
dalxndr/NEURO140
tf
GitHub 中提及
kamsyn95/CL_DNN
pytorch
GitHub 中提及
wjmacro/continualmt
pytorch
GitHub 中提及
g-u-n/pycil
pytorch
GitHub 中提及

基准测试

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
克服神经网络中的灾难性遗忘 | 论文 | HyperAI超神经