3 个月前

SFC:弱监督语义分割中的共享特征校准

SFC:弱监督语义分割中的共享特征校准

摘要

图像级弱监督语义分割因其标注成本低而受到越来越多关注。现有方法主要依赖类别激活映射(Class Activation Mapping, CAM)生成伪标签,用于训练语义分割模型。本文首次揭示,在训练数据存在长尾分布的情况下,由于头部类别与尾部类别之间共享特征,通过分类器权重计算得到的CAM会出现头部类别过度激活、尾部类别激活不足的问题,进而降低伪标签质量,最终影响语义分割的最终性能。为解决该问题,我们提出一种用于CAM生成的共享特征校准(Shared Feature Calibration, SFC)方法。具体而言,我们利用携带正向共享特征的类别原型,并设计一种多尺度分布加权(Multi-Scaled Distribution-Weighted, MSDW)一致性损失,以在训练过程中缩小通过分类器权重与类别原型生成的CAM之间的差异。MSDW损失通过校准头部与尾部类别分类器权重中的共享特征,有效缓解了过度激活与激活不足的问题。实验结果表明,所提出的SFC方法显著提升了CAM的边界精度,并在多个基准数据集上取得了新的最先进性能。项目代码已开源,地址为:https://github.com/Barrett-python/SFC。

代码仓库

barrett-python/sfc
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
weakly-supervised-semantic-segmentation-onSFC(ResNet-101)
Mean IoU: 71.2
weakly-supervised-semantic-segmentation-on-1SFC(ResNet-101)
Mean IoU: 72.5

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
SFC:弱监督语义分割中的共享特征校准 | 论文 | HyperAI超神经