4 个月前

表示补偿网络用于持续语义分割

表示补偿网络用于持续语义分割

摘要

在本研究中,我们探讨了持续语义分割问题,其中深度神经网络需要不断整合新类别,同时避免灾难性遗忘。为此,我们提出了一种结构重参数化机制,即表示补偿(Representation Compensation, RC)模块,以解耦旧知识和新知识的表示学习。RC模块由两个动态演化的分支组成,其中一个分支被冻结,另一个则可训练。此外,我们在空间和通道维度上设计了一种池化立方体知识蒸馏策略,以进一步增强模型的可塑性和稳定性。我们在两个具有挑战性的持续语义分割场景中进行了实验:持续类别分割和持续域分割。在推理过程中无需任何额外的计算开销和参数的情况下,我们的方法超越了现有最先进水平。代码可在以下链接获取:\url{https://github.com/zhangchbin/RCIL}。

代码仓库

zhangchbin/rcil
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
disjoint-10-1-on-pascal-voc-2012RCNet-101
mIoU: 18.2
disjoint-15-1-on-pascal-voc-2012RCNet-101
mIoU: 54.7
disjoint-15-5-on-pascal-voc-2012RCNet-101
Mean IoU: 67.3
overlapped-10-1-on-pascal-voc-2012RCNet-101
mIoU: 34.3
overlapped-100-10-on-ade20kRCNet-101
Mean IoU (test) : 32.1
overlapped-100-5-on-ade20kRCNet-101
mIoU: 29.6
overlapped-100-50-on-ade20kRCNet-101
mIoU: 34.5
overlapped-15-1-on-pascal-voc-2012RCNet-101
mIoU: 59.4
overlapped-15-5-on-pascal-voc-2012RCNet-101
Mean IoU (val): 72.4
overlapped-50-50-on-ade20kRCNet-101
mIoU: 32.5

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
表示补偿网络用于持续语义分割 | 论文 | HyperAI超神经