
摘要
近期的深度学习方法在图像阴影去除方面取得了令人鼓舞的结果。然而,这些方法恢复的图像仍然存在边界伪影问题,主要是由于缺乏退化先验嵌入以及建模能力不足所致。我们的研究通过提出一个统一的扩散框架来解决这些问题,该框架将图像先验和退化先验结合起来,以实现高效的阴影去除。具体而言,我们首先提出了一个阴影退化模型,这启发我们构建了一个新颖的展开扩散模型,命名为ShadowDiffusion(阴影扩散)。该模型通过逐步利用退化先验和扩散生成先验来改进输出结果,显著提升了阴影去除的效果,本质上可以作为图像恢复的新强基线。此外,ShadowDiffusion将估计的阴影掩模作为扩散生成器的辅助任务进行逐步优化,从而生成更准确和鲁棒的无阴影图像。我们在三个流行的公开数据集ISTD、ISTD+和SRD上进行了广泛的实验,以验证我们方法的有效性。与现有最先进方法相比,我们的模型在PSNR指标上取得了显著提升,在SRD数据集上的PSNR值从31.69 dB提高到34.73 dB。
代码仓库
GuoLanqing/ShadowDiffusion
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| shadow-removal-on-istd-1 | ShadowDiffusion (CVPR 2023) (512x512) | LPIPS: 0.222 PSNR: 27.87 RMSE: 3.1 SSIM: 0.839 |
| shadow-removal-on-istd-1 | ShadowDiffusion (CVPR 2023) (256x256) | LPIPS: 0.404 PSNR: 26.51 RMSE: 3.44 SSIM: 0.688 |
| shadow-removal-on-srd | ShadowDiffusion (CVPR 2023) (512x512) | LPIPS: 0.24 PSNR: 23.09 RMSE: 5.11 SSIM: 0.804 |
| shadow-removal-on-srd | ShadowDiffusion (CVPR 2023) (256x256) | LPIPS: 0.363 PSNR: 23.26 RMSE: 4.84 SSIM: 0.684 |