17 天前

使用深度CNN从单次曝光重建HDR图像

使用深度CNN从单次曝光重建HDR图像

摘要

相机传感器一次只能捕捉有限范围的亮度,因此为了生成高动态范围(HDR)图像,通常需要将一组不同曝光的图像进行合成。本文研究了如何预测在图像过曝区域中丢失的信息,从而实现仅通过单次曝光完成HDR重建。我们表明,该问题非常适合采用深度学习算法解决,并提出了一种专门针对预测HDR值所面临挑战而设计的深度卷积神经网络(CNN)。为训练该CNN,我们构建了一个大规模HDR图像数据集,并通过模拟多种相机的传感器过曝情况对数据进行增强。为进一步提升模型的鲁棒性,我们还利用MIT Places数据库的一个子集生成的模拟HDR数据集对CNN进行了预训练。实验结果表明,我们的方法能够在多种场景下重建出高分辨率、视觉上令人信服的HDR图像,并且能很好地泛化至由任意类型及低性能相机拍摄、使用未知相机响应函数和后期处理流程的图像。此外,我们将该方法与现有的HDR扩展技术进行对比,结果表明在基于图像的照明(image-based lighting)任务中同样取得了高质量的重建效果。最后,我们在HDR显示器上开展了一项主观评估实验,结果表明所重建的HDR图像具有出色的视觉真实感,相比现有方法有显著提升。

代码仓库

gabrieleilertsen/hdrcnn
官方
tf
GitHub 中提及

基准测试

基准方法指标
inverse-tone-mapping-on-msu-hdr-videoHDRCNN
HDR-PSNR: 33.0200
HDR-SSIM: 0.9663
HDR-VQM: 0.1919

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
使用深度CNN从单次曝光重建HDR图像 | 论文 | HyperAI超神经