3 个月前

ISIM:一种用于弱监督分割的迭代自提升模型

ISIM:一种用于弱监督分割的迭代自提升模型

摘要

弱监督语义分割(Weakly Supervised Semantic Segmentation, WSSS)是一项旨在仅利用类别级标签学习分割标签的具有挑战性任务。在现有研究中,广泛采用类别激活图(Class Activation Maps, CAMs)所提取的信息来推动WSSS的发展。然而,由于CAMs源自分类网络,其关注的是物体中最具有判别性的局部区域,因此为分割任务提供的先验信息不完整,难以覆盖整个物体。针对这一问题,本文提出一种基于改进的编码器-解码器结构的分割模型,并采用迭代优化策略,使模型能够同时支持分类与分割任务。由于缺乏真实分割标签,该模型借助密集条件随机场(dense Conditional Random Fields, dCRF)生成伪分割标签,从而构建出一个迭代自优化的框架。实验结果表明,基于DeepLabv3与UNet模型的实现均在Pascal VOC12数据集上取得了显著性能提升,其中DeepLabv3的实现将当前最优指标提升了2.5%。相关实验代码已公开,可访问:https://github.com/cenkbircanoglu/isim。

代码仓库

cenkbircanoglu/isim
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
weakly-supervised-semantic-segmentation-onISIM (ResNet-101)
Mean IoU: 70.51
weakly-supervised-semantic-segmentation-onISIM (ResNeSt-200)
Mean IoU: 74.90
weakly-supervised-semantic-segmentation-on-1ISIM (ResNeSt-200)
Mean IoU: 74.98
weakly-supervised-semantic-segmentation-on-1ISIM (ResNet-101)
Mean IoU: 71.45

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
ISIM:一种用于弱监督分割的迭代自提升模型 | 论文 | HyperAI超神经