3 个月前

伪标签学习在半监督与弱监督语义分割中的应用

伪标签学习在半监督与弱监督语义分割中的应用

摘要

本文致力于解决半监督与弱监督语义分割(Semi- and Weakly Supervised Semantic Segmentation, SWSSS)问题,该任务在仅有大量图像级分类标签和少量像素级标注的情况下进行。我们认为,解决SWSSS问题的关键在于生成高质量的伪标签,而本文方法从两个角度入手应对这一挑战。首先,我们提出一种类别感知的交叉熵损失(Class-aware Cross Entropy, CCE)用于网络训练。与传统的交叉熵损失相比,CCE损失仅鼓励模型区分共现类别,从而简化了伪标签生成的学习目标。其次,我们提出一种渐进式交叉训练(Progressive Cross Training, PCT)方法,通过动态评估机制在两个网络之间建立交叉监督,逐步将高质量的预测结果作为额外监督信号引入网络训练过程。该方法在标注数据极度有限的场景下显著提升了生成伪标签的质量。大量实验结果表明,本文方法在性能上显著优于当前最先进的技术。

基准测试

基准方法指标
semi-supervised-semantic-segmentation-on-15PCT (DeepLab v3+ with ResNet-50 pretrained on ImageNet-1K)
Validation mIoU: 77.26%
semi-supervised-semantic-segmentation-on-21PCT (DeepLab v3+ with ResNet-50 pretrained on ImageNet-1K)
Validation mIoU: 71.35
semi-supervised-semantic-segmentation-on-4PCT (DeepLab v3+ with ResNet-50 pretrained on ImageNet-1K)
Validation mIoU: 75.52%
semi-supervised-semantic-segmentation-on-9PCT (DeepLab v3+ with ResNet-50 pretrained on ImageNet-1K)
Validation mIoU: 76.47

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
伪标签学习在半监督与弱监督语义分割中的应用 | 论文 | HyperAI超神经