3 个月前

用于领域泛化语义分割的协作基础模型

用于领域泛化语义分割的协作基础模型

摘要

领域泛化语义分割(Domain Generalized Semantic Segmentation, DGSS)旨在通过在有标注的源域上训练模型,使其在推理阶段能够泛化至未见过的目标域。现有的DGSS方法通常借助领域随机化(Domain Randomization, DR)来提取鲁棒特征,但此类方法存在明显局限:仅能应对风格层面的多样性,难以涵盖内容上的变化。针对这一问题,本文提出一种正交的DGSS范式,构建了基于协同基础模型的领域泛化语义分割框架——CLOUDS(CoLlaborative FOUndation models for Domain Generalized Semantic Segmentation)。CLOUDS框架融合了多种类型的基础模型:(i)采用CLIP主干网络以获取具有强泛化能力的特征表示;(ii)引入生成模型以丰富内容多样性,从而覆盖潜在目标分布的多种模式;(iii)集成Segment Anything Model(SAM)实现对分割结果的迭代优化与精细化。大量实验表明,CLOUDS在从合成数据到真实场景的DGSS基准测试中均表现出优异的适应能力,尤其在不同天气条件下,其平均mIoU分别相较先前方法提升5.6%和6.7%。代码已开源,地址为:https://github.com/yasserben/CLOUDS

代码仓库

yasserben/clouds
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
domain-generalization-on-gta-to-avgCLOUDS
mIoU: 61.5

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于领域泛化语义分割的协作基础模型 | 论文 | HyperAI超神经