
摘要
二值图像分割(Dichotomous Image Segmentation, DIS)是一项针对高分辨率自然图像的高精度目标分割任务。当前主流方法主要聚焦于局部细节的优化,却忽视了建模目标整体性这一根本性挑战。我们发现,Depth Anything Model v2 所生成伪深度图中隐含的深度完整性先验(depth integrity-prior),与图像块(image patches)的局部细节特征可协同解决上述难题。基于这一发现,我们提出了一种新型的Patch-Depth融合网络(Patch-Depth Fusion Network, PDFNet),用于高精度二值图像分割。PDFNet的核心包含三个关键方面:首先,通过多模态输入融合增强对象感知能力。采用细粒度图像块策略,并结合块的选择与增强机制,显著提升了对细节的敏感性。其次,利用深度图中分布的深度完整性先验,提出一种完整性先验损失(integrity-prior loss),以增强分割结果在深度图空间中的均匀性。最后,通过共享编码器提取的特征,并辅以一个简洁的深度精炼解码器,有效提升了共享编码器捕捉图像中细微深度相关特征的能力。在DIS-5K数据集上的实验表明,PDFNet显著优于当前最先进的非扩散类方法。得益于深度完整性先验的引入,PDFNet在参数量不足扩散类方法11%的情况下,性能达到甚至超越了最新的基于扩散模型的方法。项目源代码已开源,地址为:https://github.com/Tennine2077/PDFNet。
代码仓库
tennine2077/pdfnet
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| dichotomous-image-segmentation-on-dis-te1 | PDFNet | E-measure: 0.927 MAE: 0.031 S-Measure: 0.899 max F-Measure: 0.890 weighted F-measure: 0.846 |
| dichotomous-image-segmentation-on-dis-te2 | PDFNet | E-measure: 0.947 MAE: 0.028 S-Measure: 0.924 max F-Measure: 0.921 weighted F-measure: 0.885 |
| dichotomous-image-segmentation-on-dis-te3 | PDFNet | E-measure: 0.957 MAE: 0.027 S-Measure: 0.928 max F-Measure: 0.936 weighted F-measure: 0.900 |
| dichotomous-image-segmentation-on-dis-te4 | PDFNet | E-measure: 0.941 MAE: 0.037 S-Measure: 0.910 max F-Measure: 0.911 weighted F-measure: 0.867 |
| dichotomous-image-segmentation-on-dis-vd | PDFNet | E-measure: 0.944 MAE: 0.030 S-Measure: 0.916 max F-Measure: 0.913 weighted F-measure: 0.873 |
| rgb-salient-object-detection-on-hrsod | PDFNet (HRSOD,UHRSD) | MAE: 0.012 S-Measure: 0.963 max F-Measure: 0.965 |
| rgb-salient-object-detection-on-uhrsd | PDFNet (HRSOD, UHRSD) | MAE: 0.019 S-Measure: 0.953 max F-Measure: 0.963 |