摘要

神经网络中的灾难性遗忘是持续学习领域面临的一个重大挑战。当前大多数方法在训练过程中通过重放历史数据来缓解该问题，但这违背了理想持续学习系统的约束条件。此外，现有方法在应对遗忘问题时，往往忽视了“灾难性记忆”这一现象，即模型在区分不同任务数据方面的能力反而恶化。在本研究中，我们提出了相关性映射网络（Relevance Mapping Networks, RMNs），其灵感来源于最优重叠假设（Optimal Overlap Hypothesis）。RMNs通过为关键参数分配较大的权重，动态反映各权重对当前任务的相关性。我们证明，RMNs能够学习到一种优化的表征重叠结构，从而有效解决灾难性遗忘与灾难性记忆这两大难题。所提出的方法在所有主流持续学习数据集上均达到当前最优性能，甚至显著超越依赖数据重放的方法，同时严格满足理想持续学习系统的约束条件。此外，RMNs具备在无监督条件下识别新任务数据的能力，进一步验证了其对灾难性记忆的强鲁棒性。