3 个月前

通过类别平衡自训练实现无监督域自适应语义分割

通过类别平衡自训练实现无监督域自适应语义分割

摘要

近年来,深度神经网络在多种语义分割任务中取得了最先进的性能。尽管取得了显著进展,这些模型在现实世界中的“开放域任务”中仍面临挑战,尤其是在标注的训练数据(源域)与未见的测试数据(目标域)之间存在显著差异的情况下。这种差异通常被称为“域差距”(domain gap),会导致模型性能显著下降,且仅通过增强模型表达能力难以有效缓解。无监督域自适应(Unsupervised Domain Adaptation, UDA)旨在不依赖目标域标签的情况下克服此类问题。本文提出一种基于迭代自训练(Self-Training, ST)机制的新型UDA框架,将问题建模为隐变量损失最小化问题,并通过交替地在目标域数据上生成伪标签并利用这些伪标签重新训练模型来求解。在此基础上,我们进一步提出一种新颖的类别平衡自训练(Class-Balanced Self-Training, CBST)框架,以避免在伪标签生成过程中大类逐渐主导的问题,并引入空间先验信息以优化生成的标签质量。大量实验证明,所提出的方法在多种主流UDA设置下均实现了当前最优的语义分割性能,显著提升了模型在域间差异较大场景下的泛化能力。

基准测试

基准方法指标
image-to-image-translation-on-gtav-toCBST
mIoU: 47.0
semi-supervised-semantic-segmentation-on-23CBST (Range View)
mIoU (1% Labels): 35.7
mIoU (10% Labels): 50.7
mIoU (20% Labels): 52.7
mIoU (50% Labels): 54.6
semi-supervised-semantic-segmentation-on-24CBST (Range View)
mIoU (1% Labels): 39.9
mIoU (10% Labels): 53.4
mIoU (20% Labels): 56.1
mIoU (50% Labels): 56.9
semi-supervised-semantic-segmentation-on-25CBST (Range View)
mIoU (1% Labels): 40.9
mIoU (10% Labels): 60.5
mIoU (20% Labels): 64.3
mIoU (50% Labels): 69.3

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
通过类别平衡自训练实现无监督域自适应语义分割 | 论文 | HyperAI超神经