摘要

在构建统一的视觉系统或逐步为现有系统增加新功能时，通常假设所有任务的训练数据始终可用。然而，随着任务数量的增加，存储并重新训练所有数据变得不可行。此时出现了一个新问题：我们希望向卷积神经网络（CNN）添加新功能，但原有功能对应的训练数据已无法获取。为此，我们提出了“无遗忘学习”（Learning without Forgetting）方法，该方法仅使用新任务的数据进行网络训练，同时有效保留原有功能的能力。与常用的特征提取和微调适配技术相比，该方法表现更优；其性能也与需要原始任务数据的多任务学习相当——而后者在本研究中被假设为不可用。一个更为意外的发现是，无遗忘学习在面对相似的新旧任务数据集时，甚至可能取代传统微调策略，从而进一步提升新任务的性能。