摘要

尽管深度神经网络在众多视觉任务中取得了惊人的性能，但现有的基于学习的传感器噪声建模方法在极端低光照条件下的噪声建模方面，仍远逊于基于物理模型的解决方案。为充分挖掘基于学习的传感器噪声建模潜力，本文深入研究了典型成像过程中噪声的形成机制，并提出了一种新型的物理引导型、ISO依赖的传感器噪声建模方法。具体而言，我们构建了一个基于归一化流（normalizing flow）的框架，用以表征CMOS图像传感器复杂的噪声特性。在物理模型的指导之下，噪声模型的各个组成部分分别对应于特定类型的噪声。此外，本方法还显式考虑了噪声模型中的ISO依赖性，这一点是现有基于学习的方法尚未充分重视的。为训练所提出的噪声模型，我们进一步采集了一个新的数据集，包含成对的含噪-无噪图像，以及覆盖广泛ISO设置的均匀光照场（flat-field）和偏置（bias）图像帧。与现有方法相比，所提出的噪声模型得益于其灵活的结构设计与精确的建模能力，能够显著提升极端低光照场景下的去噪性能。相关源代码与所收集的数据集将公开发布，供学术界使用。