3 个月前

原型伪标签去噪与目标结构学习用于域自适应语义分割

原型伪标签去噪与目标结构学习用于域自适应语义分割

摘要

自训练(self-training)是领域自适应分割中一种具有竞争力的方法,其通过在目标域上使用伪标签来训练网络。然而,不可避免地,伪标签存在噪声,且由于源域与目标域之间的分布差异,目标域特征呈现分散状态。本文提出一种基于代表性原型(representative prototypes)的方法,即各类别的特征中心,以解决上述两个问题。特别地,我们进一步利用原型之间的特征距离,该距离信息比仅使用原型本身更为丰富。具体而言,我们利用该距离信息估计伪标签的置信度,从而在训练过程中实现在线修正。同时,我们基于同一目标样本的两种不同视图之间的相对特征距离,对原型分配进行对齐,从而构建更加紧凑的目标域特征空间。此外,我们发现将已学习的知识蒸馏至一个自监督预训练模型中,能够进一步提升模型性能。实验结果表明,本方法在性能上显著优于当前最先进的技术。相关代码将公开发布。

代码仓库

E-DEEP/PapersReview
GitHub 中提及
microsoft/ProDA
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
domain-adaptation-on-gta5-to-cityscapesProDA
mIoU: 57.5
image-to-image-translation-on-gtav-toProDA
mIoU: 57.5
image-to-image-translation-on-synthia-toProDA
mIoU (13 classes): 62.0
semantic-segmentation-on-gtav-to-cityscapes-1ProDA
mIoU: 57.5
synthetic-to-real-translation-on-gtav-toProDA(with knowledge distillation)
mIoU: 57.5
synthetic-to-real-translation-on-synthia-to-1ProDA(ResNet-101)
MIoU (13 classes): 62.0
MIoU (16 classes): 55.5

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
原型伪标签去噪与目标结构学习用于域自适应语义分割 | 论文 | HyperAI超神经