3 个月前

零样本图像修复:基于去噪扩散零空间模型

零样本图像修复:基于去噪扩散零空间模型

摘要

现有的大多数图像复原(Image Restoration, IR)模型均为任务特定型,难以泛化至不同的退化算子。在本工作中,我们提出了一种新型的零样本框架——去噪扩散零空间模型(Denoising Diffusion Null-Space Model, DDNM),可适用于任意线性图像复原任务,包括但不限于图像超分辨率、着色、图像修复、压缩感知以及去模糊。DDNM仅需一个预训练的现成扩散模型作为生成先验,无需任何额外训练或网络结构修改。通过在逆向扩散过程中仅优化零空间(null-space)内容,即可生成满足数据一致性与真实感的多样化复原结果。为进一步提升性能,我们还提出了增强且更鲁棒的版本——DDNM+,以支持含噪复原,并显著提升在高难度任务中的复原质量。在多个图像复原任务上的实验结果表明,DDNM优于现有的其他先进零样本复原方法。此外,我们还展示了DDNM+在复杂真实场景应用中的有效性,例如老旧照片的修复。

代码仓库

ipc-lab/deepjscc-diffusion
pytorch
GitHub 中提及
wyhuai/ddnm
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
image-deblurring-on-celebaA+y
FID: 54.31
PSNR: 18.85
SSIM: 0.741
image-deblurring-on-celebaDDRM
FID: 6.24
PSNR: 43.07
SSIM: 0.993
image-deblurring-on-celebaDDNM
FID: 1.41
PSNR: 46.72
SSIM: 0.996
image-deblurring-on-imagenetDDRM
FID: 1.48
PSNR: 43.01
SSIM: 0.992
image-deblurring-on-imagenetA+y
FID: 55.42
PSNR: 18.56
SSIM: 0.6616
image-deblurring-on-imagenetDDNM
FID: 1.15
PSNR: 44.93
SSIM: 0.994
image-inpainting-on-celebaA+y
FID: 181.56
PSNR: 15.57
SSIM: 0.809
image-inpainting-on-celebaRePaint
FID: 14.19
PSNR: 35.2
SSIM: 0.981
image-inpainting-on-celebaDDNM
FID: 4.54
PSNR: 35.64
SSIM: 0.982
image-inpainting-on-celebaDDRM
FID: 12.53
PSNR: 34.79
SSIM: 0.978
image-inpainting-on-imagenetDDRM
FID: 4.82
PSNR: 31.73
SSIM: 0.966
image-inpainting-on-imagenetA+y
FID: 72.71
PSNR: 14.52
SSIM: 0.799
image-inpainting-on-imagenetRePaint
FID: 12.31
PSNR: 31.87
SSIM: 0.963
image-inpainting-on-imagenetDDNM
FID: 3.89
PSNR: 32.06
SSIM: 0.968
image-super-resolution-on-celebaA+y
FID: 103.3
PSNR: 27.27
SSIM: 0.782
image-super-resolution-on-celebaDDNM
FID: 22.27
PSNR: 31.63
SSIM: 0.945
image-super-resolution-on-celebaPULSE
FID: 40.33
PSNR: 22.74
SSIM: 0.623
image-super-resolution-on-celebaILVR
FID: 29.82
PSNR: 31.59
SSIM: 0.945
image-super-resolution-on-celebaDDRM
FID: 31.04
PSNR: 31.63
SSIM: 0.945
image-super-resolution-on-imagenetILVR
FID: 43.66
PSNR: 27.4
SSIM: 0.87
image-super-resolution-on-imagenetA+y
FID: 134.4
PSNR: 24.26
SSIM: 0.684
image-super-resolution-on-imagenetDDNM
FID: 39.26
PSNR: 27.46
SSIM: 0.87
image-super-resolution-on-imagenetDGP
FID: 64.34
PSNR: 23.18
SSIM: 0.798
image-super-resolution-on-imagenetDDRM
FID: 43.15
PSNR: 27.38
SSIM: 0.869

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
零样本图像修复:基于去噪扩散零空间模型 | 论文 | HyperAI超神经