3 个月前

可变形Beta点渲染

可变形Beta点渲染

摘要

3D高斯点阵(3D Gaussian Splatting, 3DGS)通过实现实时渲染,显著推动了辐射场重建技术的发展。然而,其依赖高斯核进行几何建模以及使用低阶球谐函数(Spherical Harmonics, SH)进行颜色编码的机制,限制了其对复杂几何结构和多样化颜色的表达能力。为此,我们提出了一种可变形且紧凑的新型方法——可变形贝塔点阵(Deformable Beta Splatting, DBS),该方法在几何与颜色表征方面均实现了显著提升。DBS将传统的高斯核替换为可变形的贝塔核(Beta Kernel),该核函数具有有界支撑域和自适应频率控制能力,能够在保持更高几何细节保真度的同时,显著提升内存效率。此外,我们将贝塔核扩展应用于颜色编码,有效增强了对漫反射与镜面反射成分的建模能力,相较基于SH的方法取得了更优的视觉效果。更重要的是,与以往依赖高斯特性的密集化(densification)技术不同,我们从数学上证明:仅通过调节正则化后的不透明度,即可保证分布保持的马尔可夫链蒙特卡洛(Markov Chain Monte Carlo, MCMC)采样过程,且该性质独立于点阵核的类型。这一理论保障了DBS在不同核函数下的稳定性与泛化能力。实验结果表明,DBS在保持当前最优视觉质量的同时,仅需3DGS-MCMC约45%的参数量,并实现1.5倍于3DGS-MCMC的渲染速度,充分展现了其在实时辐射场渲染任务中的卓越性能。项目交互演示与源代码已公开,欢迎访问我们的项目主页:https://rongliu-leo.github.io/beta-splatting/。

代码仓库

RongLiu-Leo/beta-splatting
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
novel-view-synthesis-on-nerfDeformable Beta Splatting
LPIPS: 0.028
PSNR: 34.66
SSIM: 0.973

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
可变形Beta点渲染 | 论文 | HyperAI超神经