
摘要
我们研究的是从有标签的源域数据和无标签的目标域数据中进行无监督场景自适应的问题。现有方法主要致力于缩小源域与目标域之间的域间差异。然而,网络在学习过程中所获得的域内知识以及内在不确定性尚未得到充分探索。本文提出一种正交性方法——在体记忆正则化(memory regularization in vivo),旨在挖掘域内知识并规范模型训练过程。具体而言,我们将分割模型本身视为记忆模块,通过减小两个分类器(即主分类器与辅助分类器)之间的差异,以降低预测结果的一致性偏差。该方法无需引入额外参数,可与大多数现有域自适应方法相兼容,并普遍提升现有方法的性能。尽管方法设计简洁,我们通过两个合成到真实场景的基准测试(GTA5 → Cityscapes 和 SYNTHIA → Cityscapes)验证了其有效性,分别相较于基线模型实现了 +11.1% 和 +11.3% 的 mIoU 提升。此外,在跨城市基准测试(Cityscapes → Oxford RobotCar)上也观察到类似的 +12.0% mIoU 提升,进一步证明了该方法的泛化能力。
代码仓库
layumi/Seg-Uncertainty
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| domain-adaptation-on-gta5-synscapes-to | MRNet | mIoU: 47.6 |
| domain-adaptation-on-gta5-to-cityscapes | MRNet | mIoU: 48.3 |
| domain-adaptation-on-gtav-synscapes-to | MRNet | mIoU: 47.6 |
| domain-adaptation-on-synthia-to-cityscapes-1 | MRNet | mIoU: 46.5 |
| synthetic-to-real-translation-on-gtav-to | MRNet | mIoU: 48.3 |
| synthetic-to-real-translation-on-synthia-to-1 | MRNet(ResNet-101) | MIoU (13 classes): 53.8 |
| unsupervised-domain-adaptation-on-cityscapes-2 | MRNet | mIoU: 73.9 |
| unsupervised-domain-adaptation-on-gtav-to | MRNet | mIoU: 45.5 |
| unsupervised-domain-adaptation-on-synthia-to | MRNet | mIoU: 43.2 mIoU (13 classes): 50.2 |