4 个月前

使用带有掩膜特征和感知损失的CNN进行单图像HDR重建

使用带有掩膜特征和感知损失的CNN进行单图像HDR重建

摘要

数字相机只能捕捉有限范围的真实场景亮度,导致生成的图像中出现饱和像素。现有的单张图像高动态范围(HDR)重建方法试图扩展亮度范围,但无法生成合理的纹理,从而在饱和区域产生伪影。本文提出了一种新颖的基于学习的方法,通过以视觉上令人愉悦的方式恢复输入低动态范围(LDR)图像中的饱和像素来重建HDR图像。以往基于深度学习的方法对曝光良好的像素和饱和像素应用相同的卷积滤波器,这在训练过程中造成了模糊性,并导致了棋盘状和光晕伪影。为了解决这一问题,我们提出了一种特征掩码机制,以减少来自饱和区域的特征贡献。此外,我们将基于VGG的感知损失函数适应于我们的应用,以便能够合成视觉上令人愉悦的纹理。由于用于训练的HDR图像数量有限,我们建议分两个阶段进行系统训练。具体而言,首先在大量图像上对系统进行图像修复任务的训练,然后在HDR重建任务上进行微调。由于大多数HDR示例包含易于重建的平滑区域,我们在HDR微调阶段提出了一个采样策略来选择具有挑战性的训练块。实验结果表明,我们的方法能够在各种场景下重建出视觉上令人愉悦的HDR结果,优于当前最先进的技术。

基准测试

基准方法指标
inverse-tone-mapping-on-msu-hdr-videoDeepHDR
HDR-PSNR: 33.5267
HDR-SSIM: 0.9907
HDR-VQM: 0.1000
inverse-tone-mapping-on-vds-datasetSantos et al.
HDR-VDP-2: 53.51
Kim and Kautz TMO-PSNR: 18.23
Reinhard'TMO-PSNR: 22.56

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
使用带有掩膜特征和感知损失的CNN进行单图像HDR重建 | 论文 | HyperAI超神经