3 个月前

用于语义分割的序列集成

用于语义分割的序列集成

摘要

尽管基于深度学习的语义分割领域涌现出大量竞争性基准和下游应用,但集成方法(ensemble approaches)的研究仍显不足。本文系统探索并评估了在主流数据集上,通过在测试阶段融合多个独立训练的先进模型预测结果这一流行的集成策略。此外,我们提出了一种受提升(boosting)思想启发的新型序列集成方法,其性能显著优于传统的简单集成基线。该方法通过将前序模型预测的类别概率作为额外输入,构建级联式模型序列进行训练。该方法的一大优势在于支持动态计算卸载,有助于模型在移动设备上的部署。我们提出的新型自适应模块化调控(ADaptive modulatiON, ADON)模块,能够在不同网络层实现基于前一阶段概率的空间特征调制。所提方法在训练过程中无需复杂的样本选择策略,且可适配多种神经网络架构。在Cityscapes、ADE-20K、COCO-Stuff和PASCAL-Context等具有挑战性的数据集上,我们的方法显著超越了简单集成基线,并达到了新的最先进水平(state-of-the-art)。

基准测试

基准方法指标
semantic-segmentation-on-ade20kSequential Ensemble (DeepLabv3+)
Validation mIoU: 46.8
semantic-segmentation-on-ade20kSequential Ensemble (SegFormer)
Params (M): 216.3
Validation mIoU: 54
semantic-segmentation-on-cityscapes-valSequential Ensemble (MiT-B5 + HRNet)
mIoU: 84.8
semantic-segmentation-on-pascal-contextSequential Ensemble (Segformer + HRNet)
mIoU: 62.1

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于语义分割的序列集成 | 论文 | HyperAI超神经