4 个月前

ShadowDiffusion:当退化先验遇到扩散模型用于阴影去除

ShadowDiffusion:当退化先验遇到扩散模型用于阴影去除

摘要

近期的深度学习方法在图像阴影去除方面取得了令人鼓舞的结果。然而,这些方法恢复的图像仍然存在边界伪影问题,主要是由于缺乏退化先验嵌入以及建模能力不足所致。我们的研究通过提出一个统一的扩散框架来解决这些问题,该框架将图像先验和退化先验结合起来,以实现高效的阴影去除。具体而言,我们首先提出了一个阴影退化模型,这启发我们构建了一个新颖的展开扩散模型,命名为ShadowDiffusion(阴影扩散)。该模型通过逐步利用退化先验和扩散生成先验来改进输出结果,显著提升了阴影去除的效果,本质上可以作为图像恢复的新强基线。此外,ShadowDiffusion将估计的阴影掩模作为扩散生成器的辅助任务进行逐步优化,从而生成更准确和鲁棒的无阴影图像。我们在三个流行的公开数据集ISTD、ISTD+和SRD上进行了广泛的实验,以验证我们方法的有效性。与现有最先进方法相比,我们的模型在PSNR指标上取得了显著提升,在SRD数据集上的PSNR值从31.69 dB提高到34.73 dB。

代码仓库

GuoLanqing/ShadowDiffusion
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
shadow-removal-on-istd-1ShadowDiffusion (CVPR 2023) (512x512)
LPIPS: 0.222
PSNR: 27.87
RMSE: 3.1
SSIM: 0.839
shadow-removal-on-istd-1ShadowDiffusion (CVPR 2023) (256x256)
LPIPS: 0.404
PSNR: 26.51
RMSE: 3.44
SSIM: 0.688
shadow-removal-on-srdShadowDiffusion (CVPR 2023) (512x512)
LPIPS: 0.24
PSNR: 23.09
RMSE: 5.11
SSIM: 0.804
shadow-removal-on-srdShadowDiffusion (CVPR 2023) (256x256)
LPIPS: 0.363
PSNR: 23.26
RMSE: 4.84
SSIM: 0.684

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
ShadowDiffusion:当退化先验遇到扩散模型用于阴影去除 | 论文 | HyperAI超神经