
摘要
在这项工作中,我们提出了一种简单而新颖的方法——CLUDA,用于通过在学生-教师学习范式中引入对比损失来进行语义分割的无监督域适应(UDA),该方法利用教师网络从目标域生成的伪标签。具体而言,我们从编码器中提取多级融合特征图,并通过源域和目标域图像的混合,在不同类别和不同域之间应用对比损失。我们在各种特征编码器架构以及不同的语义分割域适应数据集上持续提高了性能。此外,我们引入了一种学习加权的对比损失,以改进现有的最先进的多分辨率训练方法在UDA中的表现。我们在GTA到Cityscapes(74.4 mIOU,+0.6)和Synthia到Cityscapes(67.2 mIOU,+1.4)数据集上取得了最新的最佳结果。CLUDA有效地证明了对比学习在UDA中作为一种通用方法的价值,可以轻松集成到任何现有的语义分割任务的UDA中。有关实现细节,请参阅补充材料。
代码仓库
user0407/CLUDA
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| synthetic-to-real-translation-on-gtav-to | HRDA + CLUDA | mIoU: 74.4 |
| synthetic-to-real-translation-on-gtav-to | DAFormer + CLUDA | mIoU: 70.11 |
| synthetic-to-real-translation-on-synthia-to-1 | CLUDA+HRDA | MIoU (16 classes): 67.2 |
| unsupervised-domain-adaptation-on-gta5-to-3 | CLUDA+HRDA | mIoU: 74.4 |
| unsupervised-domain-adaptation-on-gtav-to | CLUDA+HRDA | mIoU: 74.4 |
| unsupervised-domain-adaptation-on-synthia-to | CLUDA+HRDA | mIoU: 67.2 |