3 个月前

用于领域泛化的语义分割的重参数化视觉Transformer(ReVT)

用于领域泛化的语义分割的重参数化视觉Transformer(ReVT)

摘要

语义分割任务要求模型为图像中的每个像素分配语义标签。然而,当此类模型部署于与训练数据分布不同的未见领域时,其性能往往会显著下降。本文提出一种基于增强驱动的语义分割领域泛化新方法,该方法采用权重平均的重参数化视觉Transformer(ReVT)架构,在模型训练完成后对多个模型的权重进行平均。我们在多个基准数据集上对该方法进行了评估,在常用基准数据集上,小型模型取得了47.3%的mIoU(先前最优为46.3%),中型模型达到了50.1%的mIoU(先前最优为47.8%),均达到当前最优水平。与此同时,该方法所需参数更少,推理帧率更高,优于现有最佳方法。此外,该方法实现简单,且与网络集成(network ensembles)不同,在推理阶段不引入任何额外的计算复杂度。

代码仓库

ifnspaml/revt
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
domain-generalization-on-gta-to-avgReVT
mIoU: 50.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于领域泛化的语义分割的重参数化视觉Transformer(ReVT) | 论文 | HyperAI超神经