3 个月前

基于错误定位网络的半监督语义分割

基于错误定位网络的半监督语义分割

摘要

本文研究了语义分割的半监督学习方法,该方法假设训练图像中仅有少量样本带有标签,其余样本均未标注。通常,未标注图像会被赋予伪标签以用于训练,但这一过程往往因伪标签中的错误被持续强化而引发性能下降的问题,即所谓的“确认偏差”(confirmation bias)。为此,本文提出了一种新颖的方法,有效解决了伪标签机制长期存在的这一核心问题。该方法的核心是误差定位网络(Error Localization Network, ELN),这是一种辅助模块,输入为原始图像及其对应的分割预测结果,能够识别出伪标签可能错误的像素区域。通过在训练过程中忽略这些被识别为错误的标签噪声,ELN显著提升了半监督学习对不准确伪标签的鲁棒性,并可自然地与自训练(self-training)和对比学习(contrastive learning)等策略相结合。此外,本文还提出了一种针对ELN的新颖训练策略,在ELN训练过程中模拟真实且多样化的分割错误,从而增强其泛化能力。实验在PASCAL VOC 2012和Cityscapes两个基准数据集上进行,结果表明,所提方法在所有评估设置下均优于现有各类方法。

代码仓库

kinux98/SSL_ELN
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
semi-supervised-semantic-segmentation-on-1Error Localization Network (DeeplabV3 with ResNet-50)
Validation mIoU: 73.52%
semi-supervised-semantic-segmentation-on-2Error Localization Network (DeeplabV3 with ResNet-50)
Validation mIoU: 70.33%
semi-supervised-semantic-segmentation-on-4Error Localization Network
Validation mIoU: 75.10%
semi-supervised-semantic-segmentation-on-4Error Localization Network
Validation mIoU: 73.2%
semi-supervised-semantic-segmentation-on-5Error Localization Network (DeeplabV3 with ResNet-50)
Validation mIoU: 70.52%
semi-supervised-semantic-segmentation-on-5Error Localization Network (DeeplabV3 with ResNet-101)
Validation mIoU: 72.52%
semi-supervised-semantic-segmentation-on-8Error Localization Network (DeeplabV3 with ResNet-50)
Validation mIoU: 75.33%
semi-supervised-semantic-segmentation-on-9Error Localization Network (DeeplabV3 with ResNet-50)
Validation mIoU: 74.63%
semi-supervised-semantic-segmentation-on-9Error Localization Network (DeeplabV3 with ResNet-101)
Validation mIoU: 76.58%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于错误定位网络的半监督语义分割 | 论文 | HyperAI超神经