4 个月前

PatchRefineNet:通过结合最优块二值化的信号来改进二值分割

PatchRefineNet:通过结合最优块二值化的信号来改进二值分割

摘要

二值分割模型的目的是确定哪些像素属于感兴趣的物体(例如,图像中哪些像素是道路的一部分)。这些模型为每个像素分配一个对数几率分数(即概率),并通过设定阈值将其转换为预测结果(即,每个对数几率分数 $\geq τ$ 的像素被预测为道路的一部分)。然而,当前及以往最先进的分割模型中普遍存在一种现象——空间偏差:在某些区域,对数几率分数普遍偏高,而在其他区域则普遍偏低。这些偏差导致最终预测结果中出现假阳性(误报)和假阴性(漏报)。本文提出了一种名为 PatchRefineNet (PRN) 的小型网络,该网络位于基础分割模型之上,并学习修正其特定区域的偏差。在多种基础模型上进行实验表明,PRN 能够帮助它们将平均交并比 (mIoU) 提高 2-3%。PRN 的核心思想之一是在训练过程中引入一种新的监督信号。具体而言,基于基础分割模型生成的对数几率分数,每个图像块中的每个像素都会获得一个通过最优阈值化得到的伪标签。将这些伪标签纳入 PRN 的损失函数有助于纠正系统性偏差并减少假阳性/假阴性的发生。虽然我们主要关注二值分割问题,但也展示了如何将 PRN 扩展到显著性检测和少样本分割应用中。此外,我们还讨论了如何将这些思想应用于多类分割。

代码仓库

savinay95n/PatchRefineNet
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
few-shot-semantic-segmentation-on-fss-1000-5EfficientLab + PRN
mIoU: 84.1
polyp-segmentation-on-kvasir-segSSFormer-S + PRN
mIoU: 0.891
road-segementation-on-deepglobeCoANet + PRN
mIoU: 70.6
saliency-detection-on-duts-testPFAN [zhao2019pyramid] (+) PRN
MAE: 0.0386

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
PatchRefineNet:通过结合最优块二值化的信号来改进二值分割 | 论文 | HyperAI超神经