
摘要
高动态范围(HDR)新视角合成(Novel View Synthesis, NVS)旨在利用HDR成像技术从新视角生成逼真的图像。渲染得到的HDR图像能够捕捉更广泛的亮度范围,相较于传统的低动态范围(LDR)图像,可呈现更多场景细节。现有的HDR NVS方法主要基于NeRF(神经辐射场)框架,但普遍存在训练时间长、推理速度慢的问题。本文提出一种新型框架——高动态范围高斯点云渲染(High Dynamic Range Gaussian Splatting, HDR-GS),能够高效生成新视角的HDR图像,并可根据用户输入的曝光时间重建LDR图像。具体而言,我们设计了一种双动态范围(Dual Dynamic Range, DDR)高斯点云模型:该模型采用球谐函数(spherical harmonics)拟合HDR颜色信息,并引入基于多层感知机(MLP)的色调映射器(tone-mapper)以生成LDR颜色。随后,HDR与LDR颜色分别输入两个并行的可微分光栅化(Parallel Differentiable Rasterization, PDR)流程,实现HDR与LDR视图的重建。为推动基于3D高斯点云方法在HDR NVS领域的研究,我们重新校准了相机参数,并计算了高斯点云的初始位置。实验结果表明,相较于当前最先进的基于NeRF的方法,我们的HDR-GS在LDR和HDR新视角合成任务上分别提升了3.84 dB和1.91 dB的峰值信噪比(PSNR),同时推理速度提升1000倍,训练时间仅需其6.3%。
代码仓库
shreyesss/hdrsplat
pytorch
GitHub 中提及
caiyuanhao1998/hdr-gs
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| novel-view-synthesis-on-hdr-gs | HDR-GS | Average PSNR: 38.37 LPIPS: 0.013 SSIM: 0.972 |