4 个月前

学习适应语义分割的结构化输出空间

学习适应语义分割的结构化输出空间

摘要

基于卷积神经网络的方法在语义分割任务中依赖于像素级别的监督标签,但在未见过的图像域上可能泛化性能不佳。由于标注过程繁琐且劳动密集,开发能够将源域的真实标签适应到目标域的算法具有重要意义。本文提出了一种对抗学习方法,用于在语义分割背景下实现域适应。考虑到语义分割作为结构化输出,在源域和目标域之间存在空间相似性,我们在输出空间中采用了对抗学习。为了进一步增强适应后的模型,我们构建了一个多层级对抗网络,以有效实现不同特征层次上的输出空间域适应。我们在多种域适应设置下进行了广泛的实验和消融研究,包括从合成数据到真实数据以及跨城市场景。实验结果表明,所提出的方法在准确性和视觉质量方面均优于现有最先进方法。

代码仓库

buriedms/AdaptSegNet-Paddle
paddle
GitHub 中提及
KookHoiKim/AdaptSegNet
pytorch
GitHub 中提及
lym29/DASeg
pytorch
GitHub 中提及
xiaowillow/AdaptSegNet
pytorch
GitHub 中提及
wasidennis/AdaptSegNet
官方
pytorch
GitHub 中提及
xiaowillow/AdaptSegNet1
pytorch
GitHub 中提及
zqwhu/SegDAwithBoundary
pytorch
GitHub 中提及
jizongFox/ReproduceAdaptSegNet
pytorch
GitHub 中提及
tanpinquan/EE5934_2
pytorch
GitHub 中提及
Sshanu/AdaptSegNet
pytorch
GitHub 中提及

基准测试

基准方法指标
domain-adaptation-on-synscapes-to-cityscapesAdaptSegNet
mIoU: 52.7
image-to-image-translation-on-synthia-toMulti-level Adaptation
mIoU (13 classes): 46.7
image-to-image-translation-on-synthia-toSingle-level Adaptation
mIoU (13 classes): 45.9
synthetic-to-real-translation-on-gtav-toAdaptSegNet(multi-level)
mIoU: 42.4
synthetic-to-real-translation-on-synthia-to-1AdaptSegNet(Multi-level)
MIoU (13 classes): 46.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
学习适应语义分割的结构化输出空间 | 论文 | HyperAI超神经