3 个月前

CascadePSP:通过全局与局部优化实现类别无关且超高分辨率分割

CascadePSP:通过全局与局部优化实现类别无关且超高分辨率分割

摘要

当前最先进的语义分割方法几乎均在固定分辨率范围内的图像上进行训练。然而,当处理超高分辨率图像时,这类方法的分割结果往往不够准确,因为采用双三次插值对低分辨率分割结果进行上采样,难以充分捕捉物体边界处的高分辨率细节。本文提出一种新颖方法,无需任何高分辨率训练数据即可解决超高分辨率图像的语义分割问题。其核心思想是引入CascadePSP网络,该网络能够在可能的情况下不断细化并校正局部边界。尽管我们的网络仅在低分辨率分割数据上进行训练,但该方法可适用于任意分辨率,包括超过4K的超高分辨率图像。我们在多个不同数据集上进行了定量与定性分析,结果表明,借助我们提出的新型细化模块,CascadePSP能够在无需微调的情况下实现像素级精确的分割边界,因而本方法具有类别无关(class-agnostic)的特性。最后,我们展示了该模型在多类别语义分割任务中进行场景解析的实际应用效果。

代码仓库

earth-insights/ClassTrans
pytorch
GitHub 中提及
hkchengrex/CascadePSP
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
semantic-segmentation-on-bigPSPNet + CascadePSP
IoU: 93.93
mBA: 75.32
semantic-segmentation-on-bigFCN + CascadePSP
IoU: 77.87
mBA: 67.04
semantic-segmentation-on-bigRefineNet + CascadePSP
IoU: 92.79
mBA: 74.77
semantic-segmentation-on-bigDeepLabV3+ + CascadePSP
IoU: 92.23
mBA: 74.59

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
CascadePSP:通过全局与局部优化实现类别无关且超高分辨率分割 | 论文 | HyperAI超神经