3 个月前

HDR-GS:通过高斯点阵实现1000倍加速的高效高动态范围新视角合成

HDR-GS:通过高斯点阵实现1000倍加速的高效高动态范围新视角合成

摘要

高动态范围(HDR)新视角合成(Novel View Synthesis, NVS)旨在利用HDR成像技术从新视角生成逼真的图像。渲染得到的HDR图像能够捕捉更广泛的亮度范围,相较于传统的低动态范围(LDR)图像,可呈现更多场景细节。现有的HDR NVS方法主要基于NeRF(神经辐射场)框架,但普遍存在训练时间长、推理速度慢的问题。本文提出一种新型框架——高动态范围高斯点云渲染(High Dynamic Range Gaussian Splatting, HDR-GS),能够高效生成新视角的HDR图像,并可根据用户输入的曝光时间重建LDR图像。具体而言,我们设计了一种双动态范围(Dual Dynamic Range, DDR)高斯点云模型:该模型采用球谐函数(spherical harmonics)拟合HDR颜色信息,并引入基于多层感知机(MLP)的色调映射器(tone-mapper)以生成LDR颜色。随后,HDR与LDR颜色分别输入两个并行的可微分光栅化(Parallel Differentiable Rasterization, PDR)流程,实现HDR与LDR视图的重建。为推动基于3D高斯点云方法在HDR NVS领域的研究,我们重新校准了相机参数,并计算了高斯点云的初始位置。实验结果表明,相较于当前最先进的基于NeRF的方法,我们的HDR-GS在LDR和HDR新视角合成任务上分别提升了3.84 dB和1.91 dB的峰值信噪比(PSNR),同时推理速度提升1000倍,训练时间仅需其6.3%。

代码仓库

shreyesss/hdrsplat
pytorch
GitHub 中提及
caiyuanhao1998/hdr-gs
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
novel-view-synthesis-on-hdr-gsHDR-GS
Average PSNR: 38.37
LPIPS: 0.013
SSIM: 0.972

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
HDR-GS:通过高斯点阵实现1000倍加速的高效高动态范围新视角合成 | 论文 | HyperAI超神经