
摘要
在本研究中,我们探讨了持续语义分割问题,其中深度神经网络需要不断整合新类别,同时避免灾难性遗忘。为此,我们提出了一种结构重参数化机制,即表示补偿(Representation Compensation, RC)模块,以解耦旧知识和新知识的表示学习。RC模块由两个动态演化的分支组成,其中一个分支被冻结,另一个则可训练。此外,我们在空间和通道维度上设计了一种池化立方体知识蒸馏策略,以进一步增强模型的可塑性和稳定性。我们在两个具有挑战性的持续语义分割场景中进行了实验:持续类别分割和持续域分割。在推理过程中无需任何额外的计算开销和参数的情况下,我们的方法超越了现有最先进水平。代码可在以下链接获取:\url{https://github.com/zhangchbin/RCIL}。
代码仓库
zhangchbin/rcil
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| disjoint-10-1-on-pascal-voc-2012 | RCNet-101 | mIoU: 18.2 |
| disjoint-15-1-on-pascal-voc-2012 | RCNet-101 | mIoU: 54.7 |
| disjoint-15-5-on-pascal-voc-2012 | RCNet-101 | Mean IoU: 67.3 |
| overlapped-10-1-on-pascal-voc-2012 | RCNet-101 | mIoU: 34.3 |
| overlapped-100-10-on-ade20k | RCNet-101 | Mean IoU (test) : 32.1 |
| overlapped-100-5-on-ade20k | RCNet-101 | mIoU: 29.6 |
| overlapped-100-50-on-ade20k | RCNet-101 | mIoU: 34.5 |
| overlapped-15-1-on-pascal-voc-2012 | RCNet-101 | mIoU: 59.4 |
| overlapped-15-5-on-pascal-voc-2012 | RCNet-101 | Mean IoU (val): 72.4 |
| overlapped-50-50-on-ade20k | RCNet-101 | mIoU: 32.5 |