
摘要
缺乏大规模真实原始图像去噪数据集,给训练去噪模型所需的逼真原始图像噪声合成带来了挑战。然而,真实原始图像中的噪声由多种噪声源共同构成,且在不同图像传感器之间差异显著。现有方法难以准确建模所有噪声源,而为每种传感器单独构建噪声模型又极为繁琐。本文提出一种新视角,通过直接从传感器的真实噪声中采样来合成噪声,能够自然地生成适用于不同相机传感器的高精度原始图像噪声。为此,我们设计了两种高效且通用的技术:模式对齐块采样(pattern-aligned patch sampling)用于精确合成具有空间相关性的噪声,以及高比特重建(high-bit reconstruction)用于准确还原高比特位深度的噪声特性。我们在SIDD和ELD数据集上开展了系统性实验,结果表明:(1)所提方法显著优于现有方法,并在不同传感器和光照条件下展现出广泛的泛化能力;(2)以往基于深度神经网络(DNN)噪声建模方法所得出的结论,实际上依赖于不准确的噪声参数设定,而目前DNN方法仍无法超越基于物理统计原理的建模方法。
代码仓库
zhangyi-3/noise-synthesis
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-denoising-on-eld-sonya7s2-x100 | SFRN | PSNR (Raw): 46.02 SSIM (Raw): 0.977 |
| image-denoising-on-eld-sonya7s2-x200 | SFRN | PSNR (Raw): 44.10 SSIM (Raw): 0.964 |
| image-denoising-on-sid-sonya7s2-x100 | SFRN | PSNR (Raw): 42.29 SSIM (Raw): 0.951 |
| image-denoising-on-sid-sonya7s2-x250 | SFRN | PSNR (Raw): 40.22 SSIM (Raw): 0.938 |
| image-denoising-on-sid-x100 | SFRN | PSNR (Raw): 42.29 SSIM: 0.951 |
| image-denoising-on-sid-x300 | SFRN | PSNR (Raw): 36.87 SSIM: 0.917 |