3 个月前

基于原型的一致性正则化的半监督语义分割

基于原型的一致性正则化的半监督语义分割

摘要

半监督语义分割要求模型能够有效地将少量标注图像中的标签信息传播至大量未标注图像中。此类像素级预测任务面临的一个关键挑战是类内差异较大,即同一类别内的区域在图像中可能呈现出截然不同的外观特征。这种多样性使得标签从像素到像素的传播变得极为困难。为解决这一问题,我们提出一种新方法,通过规范化类内特征的分布来缓解标签传播的难度。具体而言,该方法促使线性预测器的输出与基于原型的预测器输出保持一致性,从而隐式地促使同一伪类别下的特征靠近至少一个类内原型,同时远离其他类别的原型。在此基础上,进一步引入CutMix数据增强策略以及一种精心设计的原型维护机制,我们构建了一种半监督语义分割算法。在Pascal VOC与Cityscapes两个基准数据集上的大量实验评估表明,该方法在性能上显著优于现有最先进方法。

代码仓库

基准测试

基准方法指标
semi-supervised-semantic-segmentation-on-1PCR (DeepLab v3+ with ResNet-101 pretraind on ImageNet-1K)
Validation mIoU: 78.4%
semi-supervised-semantic-segmentation-on-15PCR (DeepLab v3+ with ResNet-101 pretraind on ImageNet-1K)
Validation mIoU: 80.91%
semi-supervised-semantic-segmentation-on-2PCR (DeepLab v3+ with ResNet-101 pretraind on ImageNet-1K)
Validation mIoU: 76.31%
semi-supervised-semantic-segmentation-on-21PCR (DeepLab v3+ with ResNet-101 pretraind on ImageNet-1K)
Validation mIoU: 78.6
semi-supervised-semantic-segmentation-on-22PCR (DeepLab v3+ with ResNet-101 pretraind on ImageNet-1K)
Validation mIoU: 73.41%
semi-supervised-semantic-segmentation-on-4PCR (DeepLab v3+ with ResNet-101 pretraind on ImageNet-1K)
Validation mIoU: 80.71%
semi-supervised-semantic-segmentation-on-8PCR (DeepLab v3+ with ResNet-101 pretraind on ImageNet-1K)
Validation mIoU: 79.11%
semi-supervised-semantic-segmentation-on-9PCR (DeepLab v3+ with ResNet-101 pretraind on ImageNet-1K)
Validation mIoU: 80.78

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于原型的一致性正则化的半监督语义分割 | 论文 | HyperAI超神经