3 个月前

弱监督协同训练与交换分配在语义分割中的应用

弱监督协同训练与交换分配在语义分割中的应用

摘要

类激活图(Class Activation Maps, CAMs)在弱监督语义分割(Weakly Supervised Semantic Segmentation, WSSS)中被广泛用于生成伪标签。然而,由于存在激活不完整或过度激活的问题,现有方法通常依赖离线的CAM优化阶段,引入额外的处理步骤或设计专门的离线模块。这不仅增加了单阶段方法的优化难度,也限制了模型的泛化能力。为此,本文旨在降低观测到的CAM不一致性和误差,从而减少对后续精修过程的依赖。我们提出一种端到端的WSSS框架——协同交换赋值训练(Co-training with Swapping Assignments, CoSA),其核心思想是在训练分割模型的同时,同步在线优化CAM。CoSA采用双流架构,其中一条子网络利用另一条子网络生成的交换式标签进行学习。为提升性能,我们引入三项关键技术:i)基于软困惑度的正则化方法,用于惩罚置信度不确定的区域;ii)动态阈值搜索机制,以自适应调整置信度阈值;iii)对比分离策略,有效解决类别激活共存问题。实验结果表明,CoSA在VOC和COCO验证集上分别取得了76.2%和51.0%的平均交并比(mIoU),显著超越现有各类基线方法。尤为突出的是,CoSA是首个在性能上超越所有现有多阶段方法(包括引入额外监督的方案)的单阶段方法。代码已开源,访问地址为:\url{https://github.com/youshyee/CoSA}。

代码仓库

youshyee/cosa
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
weakly-supervised-semantic-segmentation-onCoSA (ViT-B, single-stage)
Mean IoU: 76.4
weakly-supervised-semantic-segmentation-onCoSA (SWIN-B, multi-stage)
Mean IoU: 81.4
weakly-supervised-semantic-segmentation-on-4CoSA (SWIN-B, multi-stage)
mIoU: 53.7
weakly-supervised-semantic-segmentation-on-4CoSA (ViT-B, single-stage)
mIoU: 51.1

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
弱监督协同训练与交换分配在语义分割中的应用 | 论文 | HyperAI超神经