3 个月前

K-Planes:时空与外观的显式辐射场

K-Planes:时空与外观的显式辐射场

摘要

我们提出 k-planes,一种用于任意维度辐射场的白盒模型。该模型通过 $\binom{d}{2}$ 个平面来表示 $d$ 维场景,实现了从静态场景($d=3$)到动态场景($d=4$)的无缝扩展。这种基于平面的因子分解方式使得引入特定维度的先验信息变得简便,例如时间平滑性与多分辨率空间结构,同时自然地将场景的静态与动态成分进行分解。我们采用线性特征解码器并结合学习得到的颜色基底,其重建性能与非线性黑盒 MLP 解码器相当。在一系列合成与真实、静态与动态、外观固定与变化的场景中,k-planes 在保持极低内存占用的同时,实现了具有竞争力甚至达到当前最先进水平的重建保真度,相比完整的 4D 网格实现了高达 1000 倍的压缩率,并支持基于纯 PyTorch 实现的快速优化。视频结果与代码请见:https://sarafridov.github.io/K-Planes。

基准测试

基准方法指标
novel-view-synthesis-on-llffK-Planes (hybrid)
PSNR: 26.92
SSIM: 0.847
novel-view-synthesis-on-llffPlenoxels
PSNR: 26.29
novel-view-synthesis-on-llffTensoRF
PSNR: 26.73
SSIM: 0.839
novel-view-synthesis-on-llffK-Planes (explicit)
PSNR: 26.78
SSIM: 0.841
novel-view-synthesis-on-nerfPlenoxels
PSNR: 31.71
SSIM: 0.958
novel-view-synthesis-on-nerfK-Planes (hybrid)
PSNR: 32.36
SSIM: 0.967
novel-view-synthesis-on-nerfI-NGP
PSNR: 33.18
novel-view-synthesis-on-nerfK-Planes (explicit)
PSNR: 32.21
SSIM: 0.964
novel-view-synthesis-on-nerfTensoRF
PSNR: 33.14
SSIM: 0.963

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
K-Planes:时空与外观的显式辐射场 | 论文 | HyperAI超神经