3 个月前

ClassMix:基于分割的数据增强方法用于半监督学习

ClassMix:基于分割的数据增强方法用于半监督学习

摘要

当前语义分割领域的技术水平持续提升,使得在诸多应用场景中实现了更加精确且可靠的分割结果。然而,模型训练所依赖的标注数据生成成本较高,有时单张图像的标注需耗费数小时的人工劳动,这在很大程度上限制了该领域的进一步发展。为此,半监督学习方法被引入该任务,但其效果参差不齐。一个关键挑战在于,半监督分类中常用的图像增强手段在语义分割任务中效果有限。为此,本文提出一种新颖的数据增强机制——ClassMix,该方法通过混合未标注样本,并利用网络预测结果来保留物体边界信息,从而生成更具语义一致性的增强样本。我们在两个主流的半监督语义分割基准数据集上对这一增强技术进行了评估,结果表明,ClassMix能够达到当前最优的性能水平。此外,本文还进行了详尽的消融实验,系统比较了不同设计选择与训练策略的影响,验证了所提方法的有效性与鲁棒性。

代码仓库

lorenmt/reco
pytorch
GitHub 中提及
WilhelmT/ClassMix
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
semi-supervised-semantic-segmentation-on-1ClassMix (DeepLab v2 MSCOCO pretrained)
Validation mIoU: 63.63%
semi-supervised-semantic-segmentation-on-18ClassMix (DeepLabv2 with ResNet101, MSCOCO pre-trained)
Validation mIoU: 52.14%
semi-supervised-semantic-segmentation-on-19ClassMix (DeepLabv2 with ResNet101, MSCOCO pre-trained)
Validation mIoU: 58.77%
semi-supervised-semantic-segmentation-on-2ClassMix (DeepLab v2 MSCOCO pretrained)
Validation mIoU: 61.35%
semi-supervised-semantic-segmentation-on-3ClassMix (DeepLab v2 MSCOCO pretrained)
Validation mIoU: 54.07%
semi-supervised-semantic-segmentation-on-4ClassMix
Validation mIoU: 71.00%
semi-supervised-semantic-segmentation-on-5ClassMix (DeepLab v2 MSCOCO pretrained)
Validation mIoU: 67.77%
semi-supervised-semantic-segmentation-on-6ClassMix (DeepLab v2 MSCOCO pretrained)
Validation mIoU: 66.15%
semi-supervised-semantic-segmentation-on-7ClassMix (DeepLab v2 MSCOCO pretrained)
Validation mIoU: 54.18%
semi-supervised-semantic-segmentation-on-8ClassMix (DeepLab v2 MSCOCO pretrained)
Validation mIoU: 66.29%
semi-supervised-semantic-segmentation-on-9ClassMix (DeepLab v2 MSCOCO pretrained)
Validation mIoU: 72.45

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
ClassMix:基于分割的数据增强方法用于半监督学习 | 论文 | HyperAI超神经