3 个月前

MobileNeRF:利用多边形光栅化管线实现移动端架构上的高效神经场渲染

MobileNeRF:利用多边形光栅化管线实现移动端架构上的高效神经场渲染

摘要

神经辐射场(NeRFs)在从新视角合成三维场景图像方面展现出卓越的能力。然而,现有方法依赖于基于光线追踪(ray marching)的专用体素渲染算法,这类算法与广泛部署的图形硬件性能不匹配,限制了其实际应用。本文提出一种基于纹理多边形的新式NeRF表示方法,能够通过标准渲染管线高效合成新视角图像。该方法将NeRF表示为一组带有纹理的多边形,其中纹理分别编码二值透明度(binary opacity)和特征向量。利用传统的z缓冲(z-buffer)多边形渲染方式对这些多边形进行绘制,即可在每个像素位置生成对应的特征信息;随后,一个小型、视角相关的多层感知机(MLP)在片段着色器(fragment shader)中运行,将这些特征映射为最终像素颜色。该方法使NeRF能够兼容传统的多边形光栅化渲染流水线,充分利用像素级大规模并行计算能力,从而在多种计算平台(包括移动设备)上实现交互式帧率的渲染性能。

代码仓库

基准测试

基准方法指标
novel-view-synthesis-on-llffNeRF
LPIPS: 0.25
PSNR: 26.5
SSIM: 0.811
novel-view-synthesis-on-llffSNeRG
LPIPS: 0.183
PSNR: 25.63
SSIM: 0.818
novel-view-synthesis-on-llffJAXNeRF
LPIPS: 0.173
PSNR: 26.92
SSIM: 0.831
novel-view-synthesis-on-llffMobileNeRF
LPIPS: 0.183
PSNR: 25.91
SSIM: 0.825
novel-view-synthesis-on-mip-nerf-360NeRF++
LPIPS: 0.427
PSNR: 22.76
SSIM: 0.548
novel-view-synthesis-on-mip-nerf-360NeRF
LPIPS: 0.515
PSNR: 21.46
SSIM: 0.458
novel-view-synthesis-on-mip-nerf-360MobileNeRF
LPIPS: 0.47
PSNR: 21.95
SSIM: 0.47
novel-view-synthesis-on-nerfJAXNeRF
LPIPS: 0.051
PSNR: 31.65
SSIM: 0.952
novel-view-synthesis-on-nerfNeRF
LPIPS: 0.081
PSNR: 31
SSIM: 0.947
novel-view-synthesis-on-nerfMobileNeRF
LPIPS: 0.062
PSNR: 30.9
SSIM: 0.947
novel-view-synthesis-on-nerfSNeRG
LPIPS: 0.05
PSNR: 30.38
SSIM: 0.95

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
MobileNeRF:利用多边形光栅化管线实现移动端架构上的高效神经场渲染 | 论文 | HyperAI超神经