在不断变化的世界中，持续学习新概念的能力至关重要。然而，深度神经网络在学习新类别时往往面临灾难性遗忘问题。尽管已有大量研究致力于缓解这一现象，但多数方法要么陷入稳定性与可塑性之间的权衡困境，要么带来过高的计算或存储开销。受梯度提升算法的启发——该算法通过逐步拟合目标模型与先前集成模型之间的残差，我们提出了一种新型的两阶段学习范式FOSTER，使模型能够自适应地学习新类别。具体而言，我们首先动态扩展新的模块，以拟合目标模型与原始模型输出之间的残差；随后，通过一种高效的蒸馏策略，移除冗余参数与特征维度，从而保持单一主干网络的结构。我们在CIFAR-100以及ImageNet-100/1000数据集上，在多种设置下对所提方法FOSTER进行了验证。实验结果表明，该方法在性能上达到了当前最优水平。代码已开源，地址为：https://github.com/G-U-N/ECCV22-FOSTER。