4 个月前

野生环境中的全卷积网络:像素级对抗性和约束性适应

野生环境中的全卷积网络:像素级对抗性和约束性适应

摘要

全卷积模型在密集预测任务中已被证明对广泛的视觉任务非常成功。这些模型在监督设置下表现良好,但在人类观察者认为轻微的域迁移情况下,性能可能会出乎意料地差。例如,在一个城市进行训练而在另一个地理位置不同和/或天气条件不同的城市进行测试时,由于像素级分布的变化,可能会导致性能显著下降。本文中,我们首次引入了一种用于语义分割的域适应方法,提出了一种无监督对抗性方法来解决像素预测问题。我们的方法包括全局适应和类别特定适应技术。通过一种新颖的全卷积域对抗学习语义分割网络实现全局域对齐。这种初步适应的空间随后通过约束弱学习的一般化方法实现类别特定适应,显式地将源域的空间布局转移到目标域。我们的方法在多个大规模数据集的不同设置下均优于基线方法,包括在各种真实城市环境之间、不同合成子域之间、从模拟环境到真实环境以及在一个新的大规模行车记录仪数据集上的适应。

代码仓库

Wanger-SJTU/FCN-in-the-wild
pytorch
GitHub 中提及
zsano1/MEnet-FCN-wild
tf
GitHub 中提及

基准测试

基准方法指标
image-to-image-translation-on-synthia-fall-toFCNs in the wild
mIoU: 59.6
image-to-image-translation-on-synthia-toFCNs in the wild
mIoU (13 classes): 20.2
synthetic-to-real-translation-on-gtav-toFCNs in the wild
mIoU: 27.1

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
野生环境中的全卷积网络:像素级对抗性和约束性适应 | 论文 | HyperAI超神经