3 个月前

面向通用低光照原始噪声合成与建模

面向通用低光照原始噪声合成与建模

摘要

低光照原始图像噪声的建模与合成是计算摄影与图像处理应用中的基础性问题。尽管近年来多数研究采用基于物理的模型来合成噪声,但在低光照条件下,信号无关噪声的特性远为复杂,且在不同相机传感器之间存在显著差异,超出了现有物理模型的描述能力。为解决这一问题,本文提出一种基于生成模型的新视角,用于合成信号无关噪声。具体而言,我们分别采用物理模型与学习方法,对信号相关噪声和信号无关噪声进行建模。由此,所提方法可被视为一种通用模型:它能够同时学习不同ISO水平下的噪声特性,并具备在多种传感器间良好泛化的能力。此外,我们设计了一种高效的多尺度判别器——傅里叶变换判别器(Fourier Transformer Discriminator, FTD),以更准确地区分噪声分布。同时,我们构建了一个新的低光照原始图像去噪(Low-light Raw Denoising, LRD)数据集,用于模型训练与基准测试。定性实验结果表明,所提出的噪声模型生成的噪声在分布上与真实噪声高度相似。大量去噪实验进一步验证,该方法在多种传感器上均优于当前最先进的去噪技术。

代码仓库

fengzhang427/LRD
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
image-denoising-on-eld-sonya7s2-x100LRD
PSNR (Raw): 44.95
SSIM (Raw): 0.979
image-denoising-on-eld-sonya7s2-x200LRD
PSNR (Raw): 43.32
SSIM (Raw): 0.966
image-denoising-on-sid-sonya7s2-x100LRD
PSNR (Raw): 41.95
SSIM (Raw): 0.956
image-denoising-on-sid-sonya7s2-x250LRD
PSNR (Raw): 39.25
SSIM (Raw): 0.931
image-denoising-on-sid-sonya7s2-x300LRD
PSNR (Raw): 36.03
SSIM (Raw): 0.909

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
面向通用低光照原始噪声合成与建模 | 论文 | HyperAI超神经