
摘要
基于卷积神经网络的语义分割模型在众多应用中近期表现出卓越的性能。然而,当将这些模型应用于新领域时,尤其是从合成数据到真实数据的迁移过程中,其泛化能力通常较差。本文针对无监督域自适应(Unsupervised Domain Adaptation, UDA)问题展开研究,该问题旨在利用源域的标注数据进行训练,同时从目标域的未标注数据中学习。现有方法通过利用未标注图像的伪标签进行训练取得了成功,但针对域偏移导致的伪标签质量低下问题,已有多种技术被提出,其效果参差不齐。本文提出一种名为 DACS(Domain Adaptation via Cross-domain mixed Sampling,基于跨域混合采样的域自适应)的新方法,该方法将源域与目标域的图像及其对应的标签和伪标签进行混合,生成混合样本,并在这些混合样本上进行联合训练,同时保留原始标注数据的训练过程。通过在 GTA5 到 Cityscapes 这一经典的合成到真实语义分割 UDA 基准测试中取得当前最优性能,充分验证了所提方法的有效性。
代码仓库
vikolss/DACS
官方
pytorch
GitHub 中提及
Seung-Hun-Lee/ADAS
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| domain-adaptation-on-cityscapes-to-acdc | DACS (DeepLabv2) | mIoU: 41.2 |
| synthetic-to-real-translation-on-gtav-to | DACS | mIoU: 52.14 |
| synthetic-to-real-translation-on-synthia-to-1 | DACS(ResNet-101) | MIoU (13 classes): 54.81 MIoU (16 classes): 48.34 |