3 个月前

RecurSeed 与 EdgePredictMix:面向单阶段与多阶段框架的弱监督语义分割中的伪标签精炼学习

RecurSeed 与 EdgePredictMix:面向单阶段与多阶段框架的弱监督语义分割中的伪标签精炼学习

摘要

尽管仅使用图像级标签的弱监督语义分割(WSSS-IL)具有潜在应用价值,但其性能较低以及实现复杂度较高仍严重制约了实际应用。其主要瓶颈在于两类现象:(a)漏检(non-detection)与(b)误检(false-detection)。具体表现为:(a)现有WSSS-IL方法优化后的类别激活图(CAM)对大尺度目标仍仅能反映部分区域;(b)对于小尺度目标,过激活现象导致激活区域偏离物体边缘。为此,我们提出RecuSeed方法,通过递归迭代交替抑制漏检与误检,从而隐式地寻找一个能同时最小化两类错误的最优平衡点。此外,我们还提出一种新颖的数据增强(DA)方法——EdgePredictMix,该方法通过融合分割结果中相邻像素间的概率差异信息,进一步显式地表达物体边缘特征,有效弥补了现有数据增强方法在WSSS任务中应用时的不足。我们在PASCAL VOC 2012和MS COCO 2014两个基准测试上均取得了新的最先进性能(VOC验证集:74.4%,COCO验证集:46.4%)。相关代码已开源,地址为:https://github.com/shjo-april/RecurSeed_and_EdgePredictMix。

代码仓库

shjo-april/recurseed_and_edgepredictmix
官方
pytorch
GitHub 中提及
cenkbircanoglu/isim
pytorch
GitHub 中提及

基准测试

基准方法指标
weakly-supervised-semantic-segmentation-onRS+EPM (ResNet-101, multi-stage)
Mean IoU: 74.4
weakly-supervised-semantic-segmentation-onRS+EPM (ResNet-50, single-stage)
Mean IoU: 69.5
weakly-supervised-semantic-segmentation-on-1RS+EPM (ResNet-101, multi-stage)
Mean IoU: 73.6
weakly-supervised-semantic-segmentation-on-1RS+EPM (ResNet-50, single-stage)
Mean IoU: 70.6
weakly-supervised-semantic-segmentation-on-4RS+EPM (ResNet-101, multi-stage)
mIoU: 46.4
weakly-supervised-semantic-segmentation-on-4RS+EPM (ResNet-50, single-stage)
mIoU: 42.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
RecurSeed 与 EdgePredictMix:面向单阶段与多阶段框架的弱监督语义分割中的伪标签精炼学习 | 论文 | HyperAI超神经