摘要

在持续学习（Continual Learning, CL）的背景下训练的模型应该能够在不确定的时间段内从数据流中学习。主要挑战包括：1) 在学习新任务的同时保持旧知识并从中受益；2) 随着需要学习的数据量不断增加，确保模型的可扩展性。为了解决这些挑战，我们引入了动态生成记忆（Dynamic Generative Memory, DGM）——一种基于突触可塑性的持续学习框架。DGM依赖于条件生成对抗网络，并通过神经掩码实现可学习的连接可塑性。具体而言，我们评估了两种神经掩码变体：应用于（i）层激活和（ii）直接应用于连接权重。此外，我们提出了一种动态网络扩展机制，以确保模型具有足够的容量来应对不断涌入的新任务。新增加的容量由已学习的二进制掩码动态确定。我们在视觉分类任务的持续类别增量设置中对DGM进行了评估。