3 个月前

VBLC:面向恶劣条件下的域自适应语义分割的可见性增强与逻辑约束学习

VBLC:面向恶劣条件下的域自适应语义分割的可见性增强与逻辑约束学习

摘要

在实际系统中,将基于正常视觉条件训练的模型推广至恶劣条件下的目标域,仍是一项极具挑战性的任务。目前一种常见的解决方案是通过弥合清晰图像与恶劣条件图像之间的域差异,以实现对目标场景的准确预测。然而,以往方法通常依赖于在相同场景下采集的正常条件参考图像,这类图像在现实环境中极难获取。此外,大多数现有方法仅针对单一恶劣条件(如夜间或雾天)进行优化,导致模型在面对多种复合恶劣天气时泛化能力受限,削弱了其适用性。为克服上述局限,本文提出一种新型框架——可见度增强与逻辑值约束学习(Visibility Boosting and Logit-Constraint learning, VBLC),专为实现从正常条件到恶劣条件的高效适应而设计。VBLC创新性地实现了两个关键突破:一是无需依赖额外的参考图像,二是能够同时处理多种恶劣条件的混合情况。具体而言,我们首先提出可见度增强模块(Visibility Boost Module),通过图像级先验信息动态提升目标图像的视觉质量;其次,针对自训练方法中传统交叉熵损失函数存在的过度自信问题,我们设计了逻辑值约束学习(Logit-Constraint Learning),在训练过程中对模型输出的逻辑值(logits)施加约束,有效缓解了该问题。据我们所知,这是首次从这一全新视角应对该复杂挑战。在两个典型的正常到恶劣条件域自适应基准测试(即 Cityscapes → ACDC,以及 Cityscapes → FoggyCityscapes + RainCityscapes)上开展的大量实验充分验证了VBLC的有效性,其性能显著优于现有方法,达到了新的最先进水平。代码已开源,地址为:https://github.com/BIT-DA/VBLC。

代码仓库

bit-da/vblc
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
domain-adaptation-on-cityscapes-to-acdcVBLC (DeepLabv2)
mIoU: 47.8
domain-adaptation-on-cityscapes-to-acdcVBLC (DAFormer)
mIoU: 64.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
VBLC:面向恶劣条件下的域自适应语义分割的可见性增强与逻辑约束学习 | 论文 | HyperAI超神经