3 个月前

块-深度融合:基于细粒度块策略与深度完整性先验的二元图像分割

块-深度融合:基于细粒度块策略与深度完整性先验的二元图像分割

摘要

二值图像分割(Dichotomous Image Segmentation, DIS)是一项针对高分辨率自然图像的高精度目标分割任务。当前主流方法主要聚焦于局部细节的优化,却忽视了建模目标整体性这一根本性挑战。我们发现,Depth Anything Model v2 所生成伪深度图中隐含的深度完整性先验(depth integrity-prior),与图像块(image patches)的局部细节特征可协同解决上述难题。基于这一发现,我们提出了一种新型的Patch-Depth融合网络(Patch-Depth Fusion Network, PDFNet),用于高精度二值图像分割。PDFNet的核心包含三个关键方面:首先,通过多模态输入融合增强对象感知能力。采用细粒度图像块策略,并结合块的选择与增强机制,显著提升了对细节的敏感性。其次,利用深度图中分布的深度完整性先验,提出一种完整性先验损失(integrity-prior loss),以增强分割结果在深度图空间中的均匀性。最后,通过共享编码器提取的特征,并辅以一个简洁的深度精炼解码器,有效提升了共享编码器捕捉图像中细微深度相关特征的能力。在DIS-5K数据集上的实验表明,PDFNet显著优于当前最先进的非扩散类方法。得益于深度完整性先验的引入,PDFNet在参数量不足扩散类方法11%的情况下,性能达到甚至超越了最新的基于扩散模型的方法。项目源代码已开源,地址为:https://github.com/Tennine2077/PDFNet。

代码仓库

tennine2077/pdfnet
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
dichotomous-image-segmentation-on-dis-te1PDFNet
E-measure: 0.927
MAE: 0.031
S-Measure: 0.899
max F-Measure: 0.890
weighted F-measure: 0.846
dichotomous-image-segmentation-on-dis-te2PDFNet
E-measure: 0.947
MAE: 0.028
S-Measure: 0.924
max F-Measure: 0.921
weighted F-measure: 0.885
dichotomous-image-segmentation-on-dis-te3PDFNet
E-measure: 0.957
MAE: 0.027
S-Measure: 0.928
max F-Measure: 0.936
weighted F-measure: 0.900
dichotomous-image-segmentation-on-dis-te4PDFNet
E-measure: 0.941
MAE: 0.037
S-Measure: 0.910
max F-Measure: 0.911
weighted F-measure: 0.867
dichotomous-image-segmentation-on-dis-vdPDFNet
E-measure: 0.944
MAE: 0.030
S-Measure: 0.916
max F-Measure: 0.913
weighted F-measure: 0.873
rgb-salient-object-detection-on-hrsodPDFNet (HRSOD,UHRSD)
MAE: 0.012
S-Measure: 0.963
max F-Measure: 0.965
rgb-salient-object-detection-on-uhrsdPDFNet (HRSOD, UHRSD)
MAE: 0.019
S-Measure: 0.953
max F-Measure: 0.963

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
块-深度融合:基于细粒度块策略与深度完整性先验的二元图像分割 | 论文 | HyperAI超神经