4 个月前

未处理图像用于学习原始降噪

未处理图像用于学习原始降噪

摘要

机器学习技术在训练数据与评估数据相似时效果最佳。这一原则同样适用于单图像去噪算法,这些算法应用于真实的相机传感器读数,但由于实际限制,通常使用合成图像数据进行训练。尽管已知从合成数据泛化到真实数据需要仔细考虑图像传感器的噪声特性,但相机图像处理流水线的其他方面(增益、颜色校正、色调映射等)往往被忽视,尽管它们对原始测量值转化为最终图像的过程有显著影响。为了解决这一问题,我们提出了一种“反处理”技术,通过逆向执行图像处理流水线的每一步骤,从而可以从常见的互联网照片中合成逼真的原始传感器测量值。此外,在评估损失函数时,我们还建模了图像处理流水线的相关组件,这使得训练过程能够考虑到去噪后将发生的全部相关光度处理。通过这种方式处理和反处理模型输出及训练数据,我们能够训练一个简单的卷积神经网络,该网络在达姆施塔特噪声数据集上的错误率比现有最先进技术低14%-38%,并且速度提高了9倍至18倍。此外,该模型还能泛化到该数据集之外的传感器。

代码仓库

基准测试

基准方法指标
color-image-denoising-on-darmstadt-noiseImage Unprocessing
PSNR (Raw): 48.88
PSNR (sRGB): 40.35
SSIM (Raw): 0.9821
SSIM (sRGB): 0.9641
noise-estimation-on-siddULRD
Average KL Divergence: 0.545
PSNR Gap: 4.90

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
未处理图像用于学习原始降噪 | 论文 | HyperAI超神经