
摘要
领域自适应语义分割旨在缓解源域与目标域之间分布差异对模型性能造成的不利影响。利用辅助任务(如深度估计)提供的监督信号,有望缓解这种分布偏移,因为多种视觉任务之间存在密切关联。然而,此类监督信号并非总是可获得。本文中,我们引入了在源域和目标域均可用的自监督深度估计作为引导,以弥合域间差异。一方面,我们提出显式学习任务特征相关性,借助目标域的深度估计结果来增强目标域的语义分割预测;另一方面,我们通过比较源域与目标域深度解码器输出的深度预测差异,来近似像素级自适应的难度。基于深度估计推断出的适应难度,进一步用于优化目标域语义分割的伪标签。所提出的方法可轻松集成至现有的分割框架中。我们在基准任务SYNTHIA→Cityscapes和GTA→Cityscapes上验证了该方法的有效性,分别取得了55.0%和56.6%的最新最优性能。相关代码已公开,地址为:\url{https://qin.ee/corda}。
代码仓库
qinenergy/corda
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| domain-adaptation-on-synthia-to-cityscapes | CorDA (ResNet-101) | mIoU: 55.0 |
| synthetic-to-real-translation-on-gtav-to | CorDA | mIoU: 56.6 |
| synthetic-to-real-translation-on-synthia-to-1 | CorDA(ResNet-101) | MIoU (13 classes): 62.8 MIoU (16 classes): 55.0 |