摘要

灾难性遗忘（Catastrophic Forgetting, CF）是持续学习中的一个关键挑战。参数隔离方法通过为每个任务掩码一个子网络，以缓解新任务对旧任务的干扰，从而应对该问题。然而，这类子网络的构建依赖于权重的大小，而权重大小并不必然反映其重要性，导致模型保留了不重要的权重，并生成冗余的子网络结构。为克服这一局限，受信息瓶颈（Information Bottleneck）思想的启发——该思想旨在消除相邻网络层之间的冗余信息，我们提出了信息瓶颈掩码子网络（Information Bottleneck Masked sub-network, IBM），以消除子网络内部的冗余。具体而言，IBM将有价值的信息集中到关键权重中，从而构建无冗余的子网络。该方法不仅通过冻结子网络有效缓解了灾难性遗忘，还通过传递有价值的知识促进了新任务的训练。此外，IBM通过分解隐藏层表示，实现了子网络构建过程的自动化与灵活性。大量实验结果表明，IBM在各项指标上均显著优于现有最先进方法。尤为突出的是，相较于当前最优的参数隔离方法，IBM在子网络参数量减少70%的同时，训练时间降低了80%。