
摘要
我们提出 k-planes,一种用于任意维度辐射场的白盒模型。该模型通过 $\binom{d}{2}$ 个平面来表示 $d$ 维场景,实现了从静态场景($d=3$)到动态场景($d=4$)的无缝扩展。这种基于平面的因子分解方式使得引入特定维度的先验信息变得简便,例如时间平滑性与多分辨率空间结构,同时自然地将场景的静态与动态成分进行分解。我们采用线性特征解码器并结合学习得到的颜色基底,其重建性能与非线性黑盒 MLP 解码器相当。在一系列合成与真实、静态与动态、外观固定与变化的场景中,k-planes 在保持极低内存占用的同时,实现了具有竞争力甚至达到当前最先进水平的重建保真度,相比完整的 4D 网格实现了高达 1000 倍的压缩率,并支持基于纯 PyTorch 实现的快速优化。视频结果与代码请见:https://sarafridov.github.io/K-Planes。
代码仓库
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| novel-view-synthesis-on-llff | K-Planes (hybrid) | PSNR: 26.92 SSIM: 0.847 |
| novel-view-synthesis-on-llff | Plenoxels | PSNR: 26.29 |
| novel-view-synthesis-on-llff | TensoRF | PSNR: 26.73 SSIM: 0.839 |
| novel-view-synthesis-on-llff | K-Planes (explicit) | PSNR: 26.78 SSIM: 0.841 |
| novel-view-synthesis-on-nerf | Plenoxels | PSNR: 31.71 SSIM: 0.958 |
| novel-view-synthesis-on-nerf | K-Planes (hybrid) | PSNR: 32.36 SSIM: 0.967 |
| novel-view-synthesis-on-nerf | I-NGP | PSNR: 33.18 |
| novel-view-synthesis-on-nerf | K-Planes (explicit) | PSNR: 32.21 SSIM: 0.964 |
| novel-view-synthesis-on-nerf | TensoRF | PSNR: 33.14 SSIM: 0.963 |