摘要

类增量学习（Class-Incremental Learning）正日益受到关注，因为它能够在不遗忘已有知识的前提下，显著拓展模型的应用范围。该领域的一个重要趋势是采用“专家混合”（Mixture-of-Experts）机制，即多个模型协同完成任务。然而，传统方法通常一次性使用全部任务数据对所有专家进行训练，这不仅导致各专家容易发生灾难性遗忘，还带来了显著的计算负担。为解决这一局限，本文提出一种新颖的方法——SEED（Selective Expert for Efficient Distillation）。SEED在处理某一新任务时，仅选择其中最优的单一专家，并利用该任务的数据对该专家进行微调。为此，每个专家通过高斯分布来表征其对应类别的特征，最优专家则根据各分布之间的相似性进行动态选择。由此，SEED在保持集成方法高稳定性的同时，有效提升了专家间的多样性与异质性。大量实验结果表明，SEED在无需存储示例（exemplar-free）的设置下，于多种场景中均取得了当前最优的性能表现，充分验证了通过数据驱动实现专家多样化在持续学习中的巨大潜力。