
摘要
自训练(self-training)是领域自适应分割中一种具有竞争力的方法,其通过在目标域上使用伪标签来训练网络。然而,不可避免地,伪标签存在噪声,且由于源域与目标域之间的分布差异,目标域特征呈现分散状态。本文提出一种基于代表性原型(representative prototypes)的方法,即各类别的特征中心,以解决上述两个问题。特别地,我们进一步利用原型之间的特征距离,该距离信息比仅使用原型本身更为丰富。具体而言,我们利用该距离信息估计伪标签的置信度,从而在训练过程中实现在线修正。同时,我们基于同一目标样本的两种不同视图之间的相对特征距离,对原型分配进行对齐,从而构建更加紧凑的目标域特征空间。此外,我们发现将已学习的知识蒸馏至一个自监督预训练模型中,能够进一步提升模型性能。实验结果表明,本方法在性能上显著优于当前最先进的技术。相关代码将公开发布。
代码仓库
E-DEEP/PapersReview
GitHub 中提及
microsoft/ProDA
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| domain-adaptation-on-gta5-to-cityscapes | ProDA | mIoU: 57.5 |
| image-to-image-translation-on-gtav-to | ProDA | mIoU: 57.5 |
| image-to-image-translation-on-synthia-to | ProDA | mIoU (13 classes): 62.0 |
| semantic-segmentation-on-gtav-to-cityscapes-1 | ProDA | mIoU: 57.5 |
| synthetic-to-real-translation-on-gtav-to | ProDA(with knowledge distillation) | mIoU: 57.5 |
| synthetic-to-real-translation-on-synthia-to-1 | ProDA(ResNet-101) | MIoU (13 classes): 62.0 MIoU (16 classes): 55.5 |