摘要
终身学习近年来受到广泛关注，但现有方法在应对灾难性遗忘以及在长时间增量学习过程中持续积累知识方面仍面临挑战。本文提出了一种受表征学习启发的新模型——PODNet。通过在记忆旧类别与学习新类别之间实现精细平衡，PODNet有效缓解了灾难性遗忘问题，即使在极长周期的小规模增量任务序列中也能保持优异性能——这一设置此前尚未被现有研究充分探索。PODNet在现有技术基础上实现了两项创新：其一是在整个模型中高效应用基于空间的蒸馏损失（distillation-loss）；其二为每个类别设计了由多个代理向量（proxy vectors）组成的表征结构。我们通过系统实验对这些创新进行了全面验证，在CIFAR100、ImageNet100和ImageNet1000三个数据集上与三种先进模型进行了对比。实验结果表明，PODNet在各项任务中均显著优于现有方法，分别实现了12.10、6.51和2.85个百分点的准确率提升。相关代码已开源，地址为：https://github.com/arthurdouillard/incremental_learning.pytorch。
代码仓库
arthurdouillard/incremental_learning.pytorch
官方
pytorch
GitHub 中提及
g-u-n/pycil
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| incremental-learning-on-cifar-100-50-classes | PODNet | Average Incremental Accuracy: 57.98 |
| incremental-learning-on-cifar-100-50-classes-1 | PODNet | Average Incremental Accuracy: 60.72 |
| incremental-learning-on-cifar-100-50-classes-2 | PODNet (CNN) | Average Incremental Accuracy: 63.19 |
| incremental-learning-on-cifar-100-50-classes-3 | PODNet (CNN) | Average Incremental Accuracy: 64.83 |
| incremental-learning-on-cifar-100-b0-5steps | PODNet | Average Incremental Accuracy: 66.70 |
| incremental-learning-on-imagenet-100-50 | PODNet | Average Incremental Accuracy: 62.08 |
| incremental-learning-on-imagenet-100-50-1 | PODNet | Average Incremental Accuracy: 67.28 |
| incremental-learning-on-imagenet-100-50-2 | PODNet | Average Incremental Accuracy: 73.14 |
| incremental-learning-on-imagenet-100-50-3 | PODNet | Average Incremental Accuracy: 75.82 |
| incremental-learning-on-imagenet-500-classes-1 | PODNet | Average Incremental Accuracy: 66.95 |
| incremental-learning-on-imagenet-500-classes-2 | PODNet | Average Incremental Accuracy: 64.13 |