Command Palette
Search for a command to run...
分而治之,不忘本:持续学习中选择性训练专家的集成方法
分而治之,不忘本:持续学习中选择性训练专家的集成方法
Grzegorz Rypeść Sebastian Cygert Valeriya Khan Tomasz Trzciński Bartosz Zieliński Bartłomiej Twardowski
摘要
类增量学习(Class-Incremental Learning)正日益受到关注,因为它能够在不遗忘已有知识的前提下,显著拓展模型的应用范围。该领域的一个重要趋势是采用“专家混合”(Mixture-of-Experts)机制,即多个模型协同完成任务。然而,传统方法通常一次性使用全部任务数据对所有专家进行训练,这不仅导致各专家容易发生灾难性遗忘,还带来了显著的计算负担。为解决这一局限,本文提出一种新颖的方法——SEED(Selective Expert for Efficient Distillation)。SEED在处理某一新任务时,仅选择其中最优的单一专家,并利用该任务的数据对该专家进行微调。为此,每个专家通过高斯分布来表征其对应类别的特征,最优专家则根据各分布之间的相似性进行动态选择。由此,SEED在保持集成方法高稳定性的同时,有效提升了专家间的多样性与异质性。大量实验结果表明,SEED在无需存储示例(exemplar-free)的设置下,于多种场景中均取得了当前最优的性能表现,充分验证了通过数据驱动实现专家多样化在持续学习中的巨大潜力。