4 个月前

重新审视并最大化半监督语义分割中的时间知识

重新审视并最大化半监督语义分割中的时间知识

摘要

在半监督语义分割中,均值教师(Mean Teacher)和协同训练(co-training)方法被用于缓解确认偏差和耦合问题。然而,尽管这些方法性能优异,但它们通常涉及复杂的训练流程和巨大的计算负担,限制了这些方法的可扩展性和兼容性。本文提出了一种PrevMatch框架,通过最大化利用训练过程中获得的时间知识来有效缓解上述限制。PrevMatch框架依赖于两个核心策略:(1) 我们重新考虑时间知识的使用,因此直接利用训练过程中获得的先前模型生成额外的伪标签指导,称为先前指导。(2)我们设计了一种高度随机化的集成策略,以最大化先前指导的有效性。在四个基准语义分割数据集上的实验结果表明,所提出的方法在各种评估协议下始终优于现有方法。特别是,在使用DeepLabV3+和ResNet-101网络配置的情况下,PrevMatch仅用92张标注图像就在Pascal VOC数据集上比现有的最先进方法Diverse Co-training高出1.6个mIoU,同时实现了2.4倍更快的训练速度。此外,结果还表明PrevMatch诱导了稳定的优化过程,特别是在提升表现较差的类别方面效果显著。代码可在https://github.com/wooseok-shin/PrevMatch 获取。

代码仓库

wooseok-shin/PrevMatch
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
semi-supervised-semantic-segmentation-on-1PrevMatch (ResNet-50)
Validation mIoU: 78.8%
semi-supervised-semantic-segmentation-on-1PrevMatch (ResNet-101)
Validation mIoU: 80.1%
semi-supervised-semantic-segmentation-on-10PrevMatch (ResNet-101)
Validation mIoU: 81.6
semi-supervised-semantic-segmentation-on-10PrevMatch (ResNet-50)
Validation mIoU: 79.3
semi-supervised-semantic-segmentation-on-2PrevMatch (ResNet-101)
Validation mIoU: 78.9%
semi-supervised-semantic-segmentation-on-2PrevMatch (ResNet-50)
Validation mIoU: 77.8%
semi-supervised-semantic-segmentation-on-21PrevMatch (ResNet-101)
Validation mIoU: 81.4
semi-supervised-semantic-segmentation-on-22PrevMatch (ResNet-101)
Validation mIoU: 77.7%
semi-supervised-semantic-segmentation-on-22PrevMatch (ResNet-50)
Validation mIoU: 75.8%
semi-supervised-semantic-segmentation-on-27PrevMatch (ResNet-101)
Validation mIoU: 77.0
semi-supervised-semantic-segmentation-on-27PrevMatch (ResNet-50)
Validation mIoU: 73.4
semi-supervised-semantic-segmentation-on-28PrevMatch (ResNet-101)
Validation mIoU: 78.5
semi-supervised-semantic-segmentation-on-28PrevMatch (ResNet-50)
Validation mIoU: 75.4
semi-supervised-semantic-segmentation-on-29PrevMatch (ResNet-50)
Validation mIoU: 77.5
semi-supervised-semantic-segmentation-on-29PrevMatch (ResNet-101)
Validation mIoU: 79.6
semi-supervised-semantic-segmentation-on-30PrevMatch (ResNet-50)
Validation mIoU: 78.6
semi-supervised-semantic-segmentation-on-30PrevMatch (ResNet-101)
Validation mIoU: 80.4
semi-supervised-semantic-segmentation-on-4PrevMatch (ResNet-101)
Validation mIoU: 81.9
semi-supervised-semantic-segmentation-on-8PrevMatch (ResNet-50)
Validation mIoU: 79.2%
semi-supervised-semantic-segmentation-on-8PrevMatch (ResNet-101)
Validation mIoU: 80.1%
semi-supervised-semantic-segmentation-on-9PrevMatch (ResNet-101)
Validation mIoU: 80.8
semi-supervised-semantic-segmentation-on-coco-1PrevMatch
Validation mIoU: 40.2
semi-supervised-semantic-segmentation-on-coco-2PrevMatch
Validation mIoU: 45.7
semi-supervised-semantic-segmentation-on-coco-3PrevMatch
Validation mIoU: 48.4

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
重新审视并最大化半监督语义分割中的时间知识 | 论文 | HyperAI超神经