摘要

在顺序处理持续到来的任务时，深度神经网络通常因无法有效保留旧任务的知识而面临灾难性遗忘问题，这可能导致先前学习任务的性能显著下降。为缓解这一问题，持续学习（continual learning）研究应运而生。然而，现有方法往往伴随着计算成本的增加，原因在于网络规模的扩大或知识更新机制对先前任务产生不利影响。本文提出一种新方法，通过模型搜索机制，区分对旧任务有益与有害的信息，从而更有效地学习当前任务。针对新任务，该方法能够挖掘来自旧任务的潜在关联知识，为掌握新任务提供额外支持。同时，通过引入对当前任务损失关于关联任务的敏感性度量，我们识别出任务间的协同关系，从而在缓解有害干扰的同时增强知识迁移。所提出的方法在持续学习中的任务增量（task-incremental）与类别增量（class-incremental）两种场景下均得到验证，实验覆盖从小规模到大规模的多种数据集。实验结果表明，该方法在多项对比实验中均显著优于现有多种持续学习方法，且能有效缓解灾难性遗忘问题。