摘要

最近，辐射场（Radiance Field）方法在多视角图像或视频捕获场景的新型视图合成方面取得了革命性进展。然而，实现高质量视觉效果仍依赖于训练和渲染成本高昂的神经网络，而近期的加速方法不可避免地以牺牲质量为代价换取速度。对于无界且完整的场景（而非孤立物体）以及1080p分辨率的渲染，目前尚无任何方法能够实现实时显示。本文提出三个关键要素，使我们能够在保持具有竞争力的训练时间的同时，达到当前最先进的视觉质量，并且关键地实现了1080p分辨率下高质量的实时（≥30 fps）新型视图合成。首先，基于相机标定过程中生成的稀疏点，我们采用3D高斯分布来表示场景，该方法在保持连续体素辐射场在场景优化中的优良特性的同时，避免了在空旷区域进行不必要的计算；其次，我们对3D高斯分布实施交错优化与密度控制，尤其通过优化各向异性协方差，实现了对场景更精确的表达；第三，我们设计了一种快速的可见性感知渲染算法，支持各向异性点绘制（anisotropic splatting），不仅显著加速了训练过程，还实现了实时渲染。我们在多个公认的数据集上验证了所提方法在视觉质量与实时渲染性能方面的领先地位。