2 个月前

缓解类别增量语义分割中的背景偏移

缓解类别增量语义分割中的背景偏移

摘要

类增量语义分割(Class-Incremental Semantic Segmentation, CISS)旨在在仅使用新类标签的情况下,学习新类别的同时不遗忘旧类别。为实现这一目标,通常采用两种主流策略:其一,通过伪标签(pseudo-labeling)与知识蒸馏(knowledge distillation)来保留先前的知识;其二,采用背景权重迁移(background weight transfer)方法,利用背景在新类别学习过程中广泛覆盖的特性,将背景权重迁移至新类别分类器中。然而,第一种策略严重依赖旧模型对旧类别的检测能力,而未被检测到的像素则被误判为背景,从而导致背景分布向旧类别偏移(即旧类别被错误分类为背景)。此外,在第二种方法中,若以背景知识初始化新类别分类器,同样会引发类似的问题,但表现为背景向新类别偏移。为解决上述问题,本文提出一种面向CISS的背景-类别分离框架。具体而言,我们引入选择性伪标签与自适应特征蒸馏机制,仅蒸馏可信度高的历史知识;同时,设计一种新颖的正交性目标函数,并结合标签引导的输出蒸馏策略,以促进背景与新类别之间的有效分离。大量实验结果表明,所提方法在当前主流基准上取得了先进性能,充分验证了其有效性。

代码仓库

roadonep/eccv2024_mbs
官方
pytorch
GitHub 中提及

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
缓解类别增量语义分割中的背景偏移 | 论文 | HyperAI超神经