3 个月前

基于自组织高斯网格的紧凑型三维场景表示

基于自组织高斯网格的紧凑型三维场景表示

摘要

三维高斯点阵(3D Gaussian Splatting, 3DGS)近期已成为建模静态三维场景的一种极具前景的技术。与神经辐射场(Neural Radiance Fields, NeRF)相比,3DGS利用高效的光栅化机制,能够在保持高质量渲染效果的同时实现极快的渲染速度。然而,其存储开销显著较大,限制了其在资源受限设备上的实际部署。本文提出一种紧凑的场景表示方法,将3DGS的高维参数组织为具有局部同质性的二维网格结构,在不牺牲渲染视觉质量的前提下,大幅降低存储需求。本方法的核心思想在于显式利用自然场景中存在的感知冗余性:本质上,一个场景可通过大量不同的高斯参数组合实现等效表达。为此,我们设计了一种新型高度并行的算法,将高维高斯参数规则地排列至二维网格中,同时保留其邻域结构关系。在训练过程中,进一步对网格内排序后的参数施加局部平滑性约束。未压缩的高斯参数沿用与3DGS一致的结构,确保与现有渲染器的无缝集成。实验表明,对于复杂场景,本方法在训练时间不变的前提下,实现了17倍至42倍的存储压缩比,显著推动了三维场景分发与消费领域的发展。更多详细信息请参见项目主页:https://fraunhoferhhi.github.io/Self-Organizing-Gaussians/

代码仓库

fraunhoferhhi/Self-Organizing-Gaussians
官方
pytorch
GitHub 中提及
facebookresearch/uco3d
pytorch
GitHub 中提及

基准测试

基准方法指标
novel-view-synthesis-on-deep-blendingSelf-Organizing Gaussians
LPIPS: 0.258
PSNR: 30.35
SSIM: 0.909
Size (MB): 16.8
novel-view-synthesis-on-mip-nerf-360Self-Organizing Gaussians
LPIPS: 0.22
PSNR: 27.64
SSIM: 0.864
Size (MB): 40.3
novel-view-synthesis-on-nerfSelf-Organizing Gaussians
LPIPS: 0.031
PSNR: 33.7
SSIM: 0.969
Size (MB): 4.1
novel-view-synthesis-on-tanks-and-templesSelf-Organizing Gaussians
LPIPS: 0.208
PSNR: 25.63
Size (MB): 21.4

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于自组织高斯网格的紧凑型三维场景表示 | 论文 | HyperAI超神经