
摘要
在类别增量语义分割(CISS)中,深度学习架构面临灾难性遗忘和语义背景偏移这两个关键问题。尽管近期的研究工作关注了这些问题,现有的分类器初始化方法仍未解决背景偏移问题,并且对背景类和新前景类分类器赋予相同的初始化权重。我们提出了一种新的分类器初始化方法,该方法利用基于梯度的归因技术来识别前一背景分类器权重中最相关的部分,并将这些权重转移到新的分类器中。这种预热权重初始化提供了一个适用于多种CISS方法的通用解决方案。此外,它加速了新类别的学习过程,同时减轻了遗忘现象。我们的实验结果表明,在Pascal-VOC 2012、ADE20K和Cityscapes数据集上,与当前最先进的CISS方法相比,该方法在平均交并比(mIoU)方面有显著提升。
代码仓库
dfki-av/awt-for-ciss
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| overlapped-10-1-on-cityscapes | MiB+AWT | mIoU: 44.9 |
| overlapped-10-1-on-pascal-voc-2012 | SSUL+AWT | mIoU: 60.7 |
| overlapped-100-10-on-ade20k | MiB+AWT | Mean IoU (test) : 33.2 |
| overlapped-100-5-on-ade20k | MiB+AWT | mIoU: 31.1 |
| overlapped-100-50-on-ade20k | MiB+AWT | mIoU: 35.6 |
| overlapped-14-1-on-cityscapes | MiB+AWT | mIoU: 46.9 |
| overlapped-15-1-on-pascal-voc-2012 | SSUL+AWT | mIoU: 67.6 |
| overlapped-15-5-on-pascal-voc-2012 | SSUL+AWT | Mean IoU (val): 71.4 |
| overlapped-5-3-on-pascal-voc-2012 | SSUL+AWT | Mean IoU (test): 57.1 |
| overlapped-50-50-on-ade20k | MiB+AWT | mIoU: 33.5 |