4 个月前

SePiCo: 语义引导的像素对比用于领域自适应语义分割

SePiCo: 语义引导的像素对比用于领域自适应语义分割

摘要

域适应语义分割旨在利用在有标签源域上训练的监督模型,对无标签目标域进行令人满意的密集预测。在这项工作中,我们提出了一种新颖的一阶段适应框架——语义引导像素对比(SePiCo),该框架通过突出单个像素的语义概念,促进跨域类别区分性和类别平衡的像素表示的学习,最终提升自训练方法的性能。具体而言,为了探索合适的语义概念,我们首先研究了一种中心感知像素对比方法,该方法利用整个源域或单一源图像的类别中心来指导区分特征的学习。考虑到语义概念中可能存在的类别多样性不足问题,我们进一步从分布视角出发,引入了足够的实例数量,即分布感知像素对比。在此过程中,我们从有标签源数据的统计信息中近似估计每个语义类别的真实分布。此外,这种优化目标可以通过隐式涉及无限数量的相似或不相似对来推导出闭形式的上界,从而使其计算效率更高。大量实验表明,SePiCo不仅有助于稳定训练过程,还能生成具有区分性的表示,在合成到真实场景和白天到夜间场景的适应任务中均取得了显著进展。

代码仓库

bit-da/sepico
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
domain-adaptation-on-gta5-to-cityscapesSePiCo
mIoU: 70.3
domain-adaptation-on-synthia-to-cityscapesSePiCo (DeepLabv2-ResNet-101)
mIoU: 58.1
domain-adaptation-on-synthia-to-cityscapesSePiCo
mIoU: 64.3
image-to-image-translation-on-gtav-toSePiCo
mIoU: 70.3
image-to-image-translation-on-synthia-toSePiCo
mIoU (13 classes): 71.4
semantic-segmentation-on-dark-zurichSePiCo (DeepLab v2 ResNet-101)
mIoU: 45.4
semantic-segmentation-on-dark-zurichSePiCo
mIoU: 54.2
semantic-segmentation-on-gtav-to-cityscapes-1SePiCo
mIoU: 70.3
semantic-segmentation-on-synthia-toSePiCo
Mean IoU: 64.3
synthetic-to-real-translation-on-gtav-toSePiCo
mIoU: 70.3
synthetic-to-real-translation-on-gtav-toSePiCo - DeepLabv2
mIoU: 61.0
synthetic-to-real-translation-on-synthia-to-1SePiCo
MIoU (13 classes): 71.4
MIoU (16 classes): 64.3
synthetic-to-real-translation-on-synthia-to-1SePiCo (ResNet-101)
MIoU (13 classes): 66.5
MIoU (16 classes): 58.1
unsupervised-domain-adaptation-on-gtav-toSePiCo
mIoU: 70.3
unsupervised-domain-adaptation-on-synthia-toSePiCo (DeepLabv2 ResNet-101)
mIoU (13 classes): 66.5
unsupervised-domain-adaptation-on-synthia-toSePiCo
mIoU (13 classes): 71.4

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
SePiCo: 语义引导的像素对比用于领域自适应语义分割 | 论文 | HyperAI超神经