摘要

持续学习（Continual Learning）已催生出大量方法与评估范式，然而大多数研究仍忽视了实际应用场景中的关键特性：数据流无法被划分为明确的任务序列，且离线训练不可行。为此，我们致力于通用持续学习（General Continual Learning, GCL）的研究，其中任务边界模糊，领域分布与类别分布可能呈现渐进或突变式的漂移。我们通过融合回放（rehearsal）机制、知识蒸馏（knowledge distillation）与正则化技术来应对该挑战。我们提出的简单基线方法——Dark Experience Replay，通过匹配网络在优化轨迹中各阶段输出的logits，促使模型在学习过程中保持与历史经验的一致性。通过对标准基准和一项新型GCL评估设置（MNIST-360）的广泛实验分析，我们发现，这一看似简单的基线方法在性能上超越了诸多集成型先进方法，并能高效利用有限资源。此外，我们进一步探究了该目标函数的泛化能力，结果表明其正则化效果不仅有助于提升任务性能，更在更广泛的学习场景中展现出潜在优势。