3 个月前

基于物理的噪声建模在极端低光照摄影中的应用

基于物理的噪声建模在极端低光照摄影中的应用

摘要

在极端低光照环境下提升图像可见度是一项极具挑战性的任务。在几乎无光的条件下,现有图像去噪方法因信噪比(SNR)极低而极易失效。本文系统研究了CMOS图像传感器成像链路中的噪声统计特性,提出了一种能够精确刻画实际噪声结构的综合性噪声模型。该新型模型充分考虑了数字相机电子系统引入的噪声源,这些因素虽在现有方法中被严重忽视,却对暗光条件下的原始图像测量具有显著影响。该模型能够将复杂的噪声结构分解为具有物理意义的不同统计分布,实现噪声成分的可解释性解耦。此外,该噪声模型还可用于生成逼真的训练数据,以支持基于学习的低光照去噪算法。尽管近年来深度卷积神经网络在该领域取得了令人瞩目的成果,但其性能高度依赖于大量带标注的含噪-干净图像对进行训练,而这类数据在实际中极难获取;同时,训练所得模型在迁移至新型设备时也面临显著挑战。在多个低光照去噪数据集(包括本文新采集的、涵盖多种设备的数据集)上的大量实验表明,使用所提出的噪声生成模型训练的深度神经网络可达到令人惊喜的高精度。其性能与使用真实成对数据训练的模型相当,甚至在某些情况下更优,为真实世界中的极端低光照摄影开辟了全新路径。

代码仓库

Vandermode/ELD
pytorch
GitHub 中提及
Vandermode/NoiseModel
pytorch
GitHub 中提及

基准测试

基准方法指标
image-denoising-on-sid-sonya7s2-x100ELD
PSNR (Raw): 41.95
SSIM (Raw): 0.953
image-denoising-on-sid-sonya7s2-x250ELD
PSNR (Raw): 39.44
SSIM (Raw): 0.931
image-denoising-on-sid-x100ELD
PSNR (Raw): 41.95
SSIM: 0.963
image-denoising-on-sid-x300ELD
PSNR (Raw): 36.36
SSIM: 0.911

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于物理的噪声建模在极端低光照摄影中的应用 | 论文 | HyperAI超神经