摘要

神经辐射场（Neural Radiance Fields, NeRF）方法已被证明是三维场景的一种紧凑、高质量且通用的表示方式，能够支持后续多种任务，如编辑、检索、导航等。目前，各类神经网络架构正被广泛探索作为NeRF的核心结构，包括普通的多层感知机（MLP）、稀疏张量、低秩张量、哈希表及其组合形式。这些不同表示方法各具特点，也伴随着各自的权衡。例如，基于哈希表的表示虽能实现更快的训练与渲染速度，但其缺乏明确的几何语义，限制了其在空间关系感知编辑等下游任务中的应用。本文提出一种系统性的蒸馏方法——渐进式体素蒸馏（Progressive Volume Distillation, PVD），可实现不同架构之间的任意转换，涵盖MLP、稀疏张量、低秩张量、哈希表及其组合。PVD使得下游应用能够在事后阶段，针对具体任务最优地适配神经表示。该转换过程高效快速，得益于在不同层次的体素表示上（从浅层到深层）逐步进行蒸馏。此外，我们对密度场采用了特殊的处理方式，以应对其特有的数值不稳定性问题。我们在NeRF-Synthetic、LLFF和TanksAndTemples等基准数据集上提供了充分的实证结果，验证了所提方法的有效性。例如，利用PVD，基于MLP的NeRF模型可从基于哈希表的Instant-NGP模型中蒸馏得到，其速度比从头训练原始NeRF快10至20倍，同时在合成质量上达到更优水平。代码已开源，地址为：https://github.com/megvii-research/AAAI2023-PVD。