3 个月前

使用不可靠伪标签的半监督语义分割

使用不可靠伪标签的半监督语义分割

摘要

半监督语义分割的核心在于为未标注图像的像素合理地分配伪标签。一种常见的做法是将置信度较高的预测结果作为伪真值,但这会导致大量像素因可靠性不足而被忽略,从而造成数据利用率低下。我们认为,每一个像素在模型训练过程中都具有重要意义,即使其预测结果存在模糊性。直观来看,一个不可靠的预测可能在置信度最高的若干类别之间产生混淆,但其应能明确排除其余类别。因此,这类像素可被合理地视为对那些最不可能的类别而言的负样本。基于这一洞察,我们提出了一种高效利用未标注数据的训练框架。具体而言,我们通过预测结果的熵值区分可靠与不可靠像素,将每个不可靠像素推送至一个按类别组织的负样本队列中,并实现对所有候选像素的联合训练。考虑到训练过程中预测结果逐渐趋于准确的演化特性,我们动态调整可靠与不可靠像素的划分阈值。在多个基准数据集和不同训练设置下的实验结果表明,所提方法在性能上显著优于现有最先进方法。

代码仓库

Haochen-Wang409/U2PL
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
semi-supervised-semantic-segmentation-on-1U2PL (DeepLab v3+ with ResNet-101 pretraind on ImageNet-1K, AEL)
Validation mIoU: 78.51%
semi-supervised-semantic-segmentation-on-10U2PL (DeepLab v3+ with ResNet-101)
Validation mIoU: 79.5
semi-supervised-semantic-segmentation-on-15U2PL (DeepLab v3+ with ResNet-101 pretraind on ImageNet-1K, CutMix)
Validation mIoU: 80.5%
semi-supervised-semantic-segmentation-on-2U2PL (DeepLab v3+ with ResNet-101 pretraind on ImageNet-1K, AEL)
Validation mIoU: 76.48%
semi-supervised-semantic-segmentation-on-21U2PL (DeepLab v3+ with ResNet-101 pretraind on ImageNet-1K, CutMix)
Validation mIoU: 77.21
semi-supervised-semantic-segmentation-on-22U2PL (DeepLab v3+ with ResNet-101 pretraind on ImageNet-1K, AEL)
Validation mIoU: 74.90%
semi-supervised-semantic-segmentation-on-27U2PL (DeepLab v3+ with ResNet-101)
Validation mIoU: 68.0
semi-supervised-semantic-segmentation-on-28U2PL (DeepLab v3+ with ResNet-101)
Validation mIoU: 69.2
semi-supervised-semantic-segmentation-on-29U2PL (DeepLab v3+ with ResNet-101)
Validation mIoU: 73.7
semi-supervised-semantic-segmentation-on-30U2PL (DeepLab v3+ with ResNet-101)
Validation mIoU: 76.2
semi-supervised-semantic-segmentation-on-4U2PL (DeepLab v3+ with ResNet-101 pretraind on ImageNet-1K, CutMix)
Validation mIoU: 79.01%
semi-supervised-semantic-segmentation-on-8U2PL (DeepLab v3+ with ResNet-101 pretraind on ImageNet-1K, AEL)
Validation mIoU: 79.12%
semi-supervised-semantic-segmentation-on-9U2PL (DeepLab v3+ with ResNet-101 pretraind on ImageNet-1K, CutMix)
Validation mIoU: 79.3

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
使用不可靠伪标签的半监督语义分割 | 论文 | HyperAI超神经