
摘要
无监督域自适应(Unsupervised Domain Adaptation, UDA)用于语义分割的目标是将基于带标签源域训练的分割模型迁移至无标签的目标域。现有方法通常试图学习域不变特征,但在初始训练阶段,由于源域与目标域之间存在较大的域差异,导致难以准确对齐特征分布不一致的区域。为解决这一问题,本文提出一种新颖的双软贴合(Dual Soft-Paste, DSP)方法。具体而言,DSP采用长尾类别优先采样策略,从源域图像中选取部分类别,并以融合权重将对应的图像块软贴合到源域与目标域的训练图像上。技术上,我们基于均值教师(Mean Teacher)框架进行域自适应:贴合后的源域与目标域图像输入学生网络,而原始目标图像则输入教师网络。通过加权交叉熵损失,对两个网络输出的目标融合图像的概率图进行输出层对齐;同时,利用加权最大均值差异(Weighted Maximum Mean Discrepancy, WMMD)损失,对学生网络提取的源域与目标域特征图进行特征层对齐。DSP通过引入中间域的特征学习机制,有效促进模型学习域不变特征,从而实现更快的收敛速度与更优的性能表现。在两个具有挑战性的基准数据集上的实验结果表明,DSP在性能上显著优于当前最先进的方法。代码已开源,地址为:\url{https://github.com/GaoLii/DSP}。
代码仓库
GaoLii/DSP
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| synthetic-to-real-translation-on-gtav-to | DSP | mIoU: 55.0 |
| synthetic-to-real-translation-on-synthia-to-1 | DSP(ResNet-101) | MIoU (13 classes): 59.9 MIoU (16 classes): 51.0 |