摘要

神经辐射场（NeRF）在新视角合成任务中取得了显著成功。然而，在真实场景中，现有基于NeRF的方法仍难以从源图像中恢复出高质量的细节，这主要归因于潜在的标定信息不准确以及场景表示的偏差。即便使用高质量的训练图像，NeRF模型生成的新视角图像仍普遍存在明显的渲染伪影，如噪声、模糊等问题。为提升基于NeRF方法的合成质量，本文提出NeRFLiX——一种通用的、与NeRF无关的图像恢复范式，其核心是通过学习一种由退化驱动的跨视角混合机制实现优化。具体而言，我们设计了一种类NeRF的退化建模方法，并构建了大规模训练数据集，使得现有深度神经网络能够有效消除NeRF固有的渲染伪影。此外，除退化去除之外，我们进一步提出一种跨视角聚合框架，能够融合具有高度相关性的高质量训练图像，显著提升前沿NeRF模型的性能，生成高度逼真的合成视图。