3 个月前

边界增强的协同训练用于弱监督语义分割

边界增强的协同训练用于弱监督语义分割

摘要

现有的弱监督语义分割(WSSS)方法主要关注于生成准确且完整的类别激活图(CAMs)作为伪标签,而忽视了对分割网络本身的有效训练。本文观察到,CAM中伪标签的质量与最终分割模型的性能之间存在不一致性,且错误标记的像素主要集中在物体边界区域。基于这一发现,我们提出,WSSS的重点应从生成高质量伪标签转向在噪声伪标签条件下实现鲁棒学习,并进一步提出一种边界增强型协同训练(Boundary-Enhanced Co-Training, BECO)方法,用于训练分割模型。具体而言,我们首先引入一种双交互网络的协同训练范式,以提升对不确定像素的学习能力;随后提出一种边界增强策略,专门用于改善困难边界区域的预测性能,该策略利用可靠预测结果构建人工边界以引导模型学习。得益于协同训练机制与边界增强设计的有机结合,所提方法在不同来源的CAM下均能取得优异的分割性能。在PASCAL VOC 2012和MS COCO 2014数据集上的大量实验结果表明,BECO方法在性能上显著优于现有最先进的弱监督语义分割方法。

基准测试

基准方法指标
weakly-supervised-semantic-segmentation-onBECO(DeepLabV3Plus+R101)
Mean IoU: 72.1
weakly-supervised-semantic-segmentation-onBECO(DeepLabV3Plus+MiT-B2)
Mean IoU: 73.7
weakly-supervised-semantic-segmentation-on-1BECO(DeepLabV3Plus+MiT-B2)
Mean IoU: 73.5
weakly-supervised-semantic-segmentation-on-4BECO(DeepLabV3Plus+R101)
mIoU: 45.1

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
边界增强的协同训练用于弱监督语义分割 | 论文 | HyperAI超神经