
摘要
3D高斯点阵(3D Gaussian Splatting, 3DGS)是一种用于建模与渲染3D辐射场的新方法,相较于当前最先进的神经辐射场(NeRF)方法,其训练与渲染速度显著提升。然而,该方法在存储需求方面存在明显劣势——由于需要存储大量3D高斯分布的参数,其存储开销远高于传统NeRF方法。我们观察到,许多高斯分布的参数具有高度相似性,因此提出一种基于K-means的简单向量量化(vector quantization)方法,在优化过程中对高斯参数进行量化。随后,仅需存储一个小型码本(codebook)以及每个高斯分布对应的码本索引。为进一步压缩索引数据,我们采用排序策略并结合类似行程编码(run-length encoding)的方法进行进一步压缩。此外,我们引入一种简单的正则化项,促使不透明度(opacity)趋近于零的高斯分布(即不可见高斯)被抑制,从而大幅减少高斯分布的数量,显著降低存储开销与渲染时间。我们在标准基准测试数据集以及一个规模比该领域常用基准大一个数量级的现有3D数据集上进行了广泛实验。结果表明,本方法虽结构简单,却极为有效:在图像渲染质量仅有轻微下降的情况下,可将3DGS的存储成本降低40至50倍,渲染速度提升2至3倍。
代码仓库
ucdvision/compact3d
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| novel-view-synthesis-on-mip-nerf-360 | Compact3D | LPIPS: 0.228 PSNR: 27.16 SSIM: 0.808 |
| novel-view-synthesis-on-tanks-and-temples | Compact3D | LPIPS: 0.188 PSNR: 23.47 SSIM: 0.840 |