4 个月前

归因感知权重迁移:面向类增量语义分割的热启动初始化

归因感知权重迁移:面向类增量语义分割的热启动初始化

摘要

在类别增量语义分割(CISS)中,深度学习架构面临灾难性遗忘和语义背景偏移这两个关键问题。尽管近期的研究工作关注了这些问题,现有的分类器初始化方法仍未解决背景偏移问题,并且对背景类和新前景类分类器赋予相同的初始化权重。我们提出了一种新的分类器初始化方法,该方法利用基于梯度的归因技术来识别前一背景分类器权重中最相关的部分,并将这些权重转移到新的分类器中。这种预热权重初始化提供了一个适用于多种CISS方法的通用解决方案。此外,它加速了新类别的学习过程,同时减轻了遗忘现象。我们的实验结果表明,在Pascal-VOC 2012、ADE20K和Cityscapes数据集上,与当前最先进的CISS方法相比,该方法在平均交并比(mIoU)方面有显著提升。

代码仓库

dfki-av/awt-for-ciss
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
overlapped-10-1-on-cityscapesMiB+AWT
mIoU: 44.9
overlapped-10-1-on-pascal-voc-2012SSUL+AWT
mIoU: 60.7
overlapped-100-10-on-ade20kMiB+AWT
Mean IoU (test) : 33.2
overlapped-100-5-on-ade20kMiB+AWT
mIoU: 31.1
overlapped-100-50-on-ade20kMiB+AWT
mIoU: 35.6
overlapped-14-1-on-cityscapesMiB+AWT
mIoU: 46.9
overlapped-15-1-on-pascal-voc-2012SSUL+AWT
mIoU: 67.6
overlapped-15-5-on-pascal-voc-2012SSUL+AWT
Mean IoU (val): 71.4
overlapped-5-3-on-pascal-voc-2012SSUL+AWT
Mean IoU (test): 57.1
overlapped-50-50-on-ade20kMiB+AWT
mIoU: 33.5

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
归因感知权重迁移:面向类增量语义分割的热启动初始化 | 论文 | HyperAI超神经