摘要

人工神经网络在顺序训练多个任务时会遭受灾难性遗忘。为了解决这一问题，我们提出了一种基于任务条件超网络的新方法，即根据任务身份生成目标模型权重的网络。由于一个简单的关键特性，这类模型在持续学习（CL）方面面临的挑战较小：它们不需要回忆所有先前见过的数据的输入-输出关系，而只需重新排练特定任务的权重实现，这些权重可以通过使用简单的正则化器来维持在内存中。除了在标准的持续学习基准测试中达到最先进的性能外，我们在长任务序列上的额外实验还表明，任务条件超网络具有非常大的保留先前记忆的能力。值得注意的是，在压缩状态下（即可训练的超网络权重数量与目标网络大小相当或更小时），实现了如此长时间的记忆寿命。我们对低维任务嵌入空间（超网络的输入空间）的结构进行了深入分析，并展示了任务条件超网络表现出迁移学习的能力。最后，通过基于CIFAR-10/100图像数据集的具有挑战性的持续学习基准测试中的实证结果，进一步支持了前向信息传递的概念。