摘要

体素场景表示技术能够实现静态场景的逼真视图合成，并构成了多种现有六自由度（6-DoF）视频技术的基础。然而，驱动这些表示的体素渲染过程在图像质量、渲染速度和内存效率之间需进行精细权衡。特别是，现有方法难以在复杂真实场景中同时实现实时性能、小内存占用与高质量渲染。为解决上述问题，我们提出了一种新型的6-DoF视频表示方法——HyperReel。HyperReel的两个核心组件为：（1）一种基于光线条件的采样预测网络，可实现高保真度、高帧率的高分辨率渲染；（2）一种紧凑且内存高效的动态体素表示。与以往及当前主流方法相比，我们的6-DoF视频处理管道在保持极小内存开销的同时，实现了最优的视觉质量，并可在无需任何自定义CUDA代码的情况下，以每秒高达18帧的速度实现百万像素级分辨率的实时渲染。