3 个月前

先泛化再适应:无源域自适应语义分割

先泛化再适应:无源域自适应语义分割

摘要

无监督域自适应(Unsupervised Domain Adaptation, DA)在语义分割领域受到了广泛关注。然而,现有绝大多数方法均假设能够同时访问带标注的源域数据与无标注的目标域数据,这使其难以适用于仅能使用源域数据进行训练、而无法再次访问源域的“无源域自适应”(source-free DA)场景。为此,本文提出一种实现无源域自适应的新范式,将该任务分解为两个阶段:a)仅基于源域的域泛化(domain generalization),以及 b)无源域的目标域自适应。针对第一阶段,我们提供了理论分析,设计了一种多头(multi-head)框架,并基于虚拟扩展的多源数据集进行训练,旨在实现模型泛化能力与特定域适应能力之间的平衡。针对第二阶段,我们利用该多头框架生成高质量的目标域伪标签,用于自训练(self-training)。此外,本文还提出一种新颖的条件先验约束自编码器(conditional prior-enforcing auto-encoder),有效抑制了空间上的不规则性,从而进一步提升伪标签的可靠性。在标准的GTA5→Cityscapes与SYNTHIA→Cityscapes基准测试中,我们的方法在性能上显著优于以往非无源域自适应的先进方法。进一步实验表明,本方法可与在线自适应机制兼容,具备在动态变化环境中部署的潜力。

代码仓库

基准测试

基准方法指标
domain-adaptation-on-gta5-to-cityscapesGtA-SFDA (DeepLabv2-ResNet101)
mIoU: 53.4
domain-adaptation-on-synthia-to-cityscapesGtA-SFDA (DeepLabv2-ResNet101)
mIoU: 60.1
domain-generalization-on-gta5-to-cityscapesGtA-SFDA Source-Only (DeepLabv2-ResNet101)
mIoU: 43.5

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
先泛化再适应:无源域自适应语义分割 | 论文 | HyperAI超神经