
摘要
神经辐射场(NeRFs)在从新视角合成三维场景图像方面展现出卓越的能力。然而,现有方法依赖于基于光线追踪(ray marching)的专用体素渲染算法,这类算法与广泛部署的图形硬件性能不匹配,限制了其实际应用。本文提出一种基于纹理多边形的新式NeRF表示方法,能够通过标准渲染管线高效合成新视角图像。该方法将NeRF表示为一组带有纹理的多边形,其中纹理分别编码二值透明度(binary opacity)和特征向量。利用传统的z缓冲(z-buffer)多边形渲染方式对这些多边形进行绘制,即可在每个像素位置生成对应的特征信息;随后,一个小型、视角相关的多层感知机(MLP)在片段着色器(fragment shader)中运行,将这些特征映射为最终像素颜色。该方法使NeRF能够兼容传统的多边形光栅化渲染流水线,充分利用像素级大规模并行计算能力,从而在多种计算平台(包括移动设备)上实现交互式帧率的渲染性能。
代码仓库
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| novel-view-synthesis-on-llff | NeRF | LPIPS: 0.25 PSNR: 26.5 SSIM: 0.811 |
| novel-view-synthesis-on-llff | SNeRG | LPIPS: 0.183 PSNR: 25.63 SSIM: 0.818 |
| novel-view-synthesis-on-llff | JAXNeRF | LPIPS: 0.173 PSNR: 26.92 SSIM: 0.831 |
| novel-view-synthesis-on-llff | MobileNeRF | LPIPS: 0.183 PSNR: 25.91 SSIM: 0.825 |
| novel-view-synthesis-on-mip-nerf-360 | NeRF++ | LPIPS: 0.427 PSNR: 22.76 SSIM: 0.548 |
| novel-view-synthesis-on-mip-nerf-360 | NeRF | LPIPS: 0.515 PSNR: 21.46 SSIM: 0.458 |
| novel-view-synthesis-on-mip-nerf-360 | MobileNeRF | LPIPS: 0.47 PSNR: 21.95 SSIM: 0.47 |
| novel-view-synthesis-on-nerf | JAXNeRF | LPIPS: 0.051 PSNR: 31.65 SSIM: 0.952 |
| novel-view-synthesis-on-nerf | NeRF | LPIPS: 0.081 PSNR: 31 SSIM: 0.947 |
| novel-view-synthesis-on-nerf | MobileNeRF | LPIPS: 0.062 PSNR: 30.9 SSIM: 0.947 |
| novel-view-synthesis-on-nerf | SNeRG | LPIPS: 0.05 PSNR: 30.38 SSIM: 0.95 |