摘要

我们提出了一种方法，通过优化一个底层的连续体体积场景函数，利用稀疏的输入视图集合成复杂场景的新视角，从而达到当前最佳的效果。我们的算法使用一个全连接（非卷积）深度网络来表示场景，该网络的输入是一个单一的连续5D坐标（空间位置$(x,y,z)$和观察方向$(θ, ϕ)$），输出则是该空间位置处的体积密度和依赖于视角的辐射亮度。我们通过沿相机光线查询5D坐标来合成为新视角，并使用经典的体积渲染技术将输出的颜色和密度投影到图像中。由于体积渲染具有天然的可微分性，因此优化我们的表示所需的唯一输入是一组已知相机姿态的图像。我们描述了如何有效地优化神经辐射场以渲染具有复杂几何结构和外观的场景的真实感新视角，并展示了在神经渲染和视图合成方面优于先前工作的结果。视图合成的结果最好以视频形式观看，因此我们强烈建议读者查看我们的补充视频以获得令人信服的对比效果。