
摘要
类增量语义分割(Class-Incremental Semantic Segmentation, CISS)旨在在仅使用新类标签的情况下,学习新类别的同时不遗忘旧类别。为实现这一目标,通常采用两种主流策略:其一,通过伪标签(pseudo-labeling)与知识蒸馏(knowledge distillation)来保留先前的知识;其二,采用背景权重迁移(background weight transfer)方法,利用背景在新类别学习过程中广泛覆盖的特性,将背景权重迁移至新类别分类器中。然而,第一种策略严重依赖旧模型对旧类别的检测能力,而未被检测到的像素则被误判为背景,从而导致背景分布向旧类别偏移(即旧类别被错误分类为背景)。此外,在第二种方法中,若以背景知识初始化新类别分类器,同样会引发类似的问题,但表现为背景向新类别偏移。为解决上述问题,本文提出一种面向CISS的背景-类别分离框架。具体而言,我们引入选择性伪标签与自适应特征蒸馏机制,仅蒸馏可信度高的历史知识;同时,设计一种新颖的正交性目标函数,并结合标签引导的输出蒸馏策略,以促进背景与新类别之间的有效分离。大量实验结果表明,所提方法在当前主流基准上取得了先进性能,充分验证了其有效性。
代码仓库
roadonep/eccv2024_mbs
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| disjoint-15-1-on-pascal-voc-2012 | MBS | mIoU: 78.1 |
| disjoint-15-5-on-pascal-voc-2012 | MBS | Mean IoU: 79.0 |
| disjoint-19-1-on-pascal-voc-2012 | MBS | mIoU: 82.8 |
| overlapped-10-1-on-pascal-voc-2012 | MBS | mIoU: 77.19 |
| overlapped-100-10-on-ade20k | MBS | Mean IoU (test) : 44.5 |
| overlapped-100-5-on-ade20k | MBS | mIoU: 42.8 |
| overlapped-100-50-on-ade20k | MBS | mIoU: 45.7 |
| overlapped-15-1-on-pascal-voc-2012 | MBS | mIoU: 80.6 |
| overlapped-15-5-on-pascal-voc-2012 | MBS | Mean IoU (val): 82.6 |
| overlapped-5-3-on-pascal-voc-2012 | MBS | Mean IoU (test): 78.1 |
| overlapped-50-50-on-ade20k | MBS | mIoU: 45.4 |