3 个月前

基于自监督深度估计的领域自适应语义分割

基于自监督深度估计的领域自适应语义分割

摘要

领域自适应语义分割旨在缓解源域与目标域之间分布差异对模型性能造成的不利影响。利用辅助任务(如深度估计)提供的监督信号,有望缓解这种分布偏移,因为多种视觉任务之间存在密切关联。然而,此类监督信号并非总是可获得。本文中,我们引入了在源域和目标域均可用的自监督深度估计作为引导,以弥合域间差异。一方面,我们提出显式学习任务特征相关性,借助目标域的深度估计结果来增强目标域的语义分割预测;另一方面,我们通过比较源域与目标域深度解码器输出的深度预测差异,来近似像素级自适应的难度。基于深度估计推断出的适应难度,进一步用于优化目标域语义分割的伪标签。所提出的方法可轻松集成至现有的分割框架中。我们在基准任务SYNTHIA→Cityscapes和GTA→Cityscapes上验证了该方法的有效性,分别取得了55.0%和56.6%的最新最优性能。相关代码已公开,地址为:\url{https://qin.ee/corda}。

代码仓库

qinenergy/corda
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
domain-adaptation-on-synthia-to-cityscapesCorDA (ResNet-101)
mIoU: 55.0
synthetic-to-real-translation-on-gtav-toCorDA
mIoU: 56.6
synthetic-to-real-translation-on-synthia-to-1CorDA(ResNet-101)
MIoU (13 classes): 62.8
MIoU (16 classes): 55.0

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于自监督深度估计的领域自适应语义分割 | 论文 | HyperAI超神经