
摘要
相机传感器一次只能捕捉有限范围的亮度,因此为了生成高动态范围(HDR)图像,通常需要将一组不同曝光的图像进行合成。本文研究了如何预测在图像过曝区域中丢失的信息,从而实现仅通过单次曝光完成HDR重建。我们表明,该问题非常适合采用深度学习算法解决,并提出了一种专门针对预测HDR值所面临挑战而设计的深度卷积神经网络(CNN)。为训练该CNN,我们构建了一个大规模HDR图像数据集,并通过模拟多种相机的传感器过曝情况对数据进行增强。为进一步提升模型的鲁棒性,我们还利用MIT Places数据库的一个子集生成的模拟HDR数据集对CNN进行了预训练。实验结果表明,我们的方法能够在多种场景下重建出高分辨率、视觉上令人信服的HDR图像,并且能很好地泛化至由任意类型及低性能相机拍摄、使用未知相机响应函数和后期处理流程的图像。此外,我们将该方法与现有的HDR扩展技术进行对比,结果表明在基于图像的照明(image-based lighting)任务中同样取得了高质量的重建效果。最后,我们在HDR显示器上开展了一项主观评估实验,结果表明所重建的HDR图像具有出色的视觉真实感,相比现有方法有显著提升。
代码仓库
gabrieleilertsen/hdrcnn
官方
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| inverse-tone-mapping-on-msu-hdr-video | HDRCNN | HDR-PSNR: 33.0200 HDR-SSIM: 0.9663 HDR-VQM: 0.1919 |