摘要

神经辐射场（Neural Radiance Fields, NeRF）在新视角合成任务中取得了显著成功。然而，现有基于NeRF的方法在从真实场景中恢复高质量细节方面仍面临挑战，这主要归因于潜在的相机标定信息不准确以及场景表示的偏差。即使使用高质量的训练图像，NeRF模型生成的合成新视角仍普遍存在明显的渲染伪影，如噪声和模糊等问题。为解决上述问题，本文提出NeRFLiX——一种通用的、与NeRF无关的图像修复范式，其核心是学习一种由退化驱动的跨视角混合机制。具体而言，我们设计了一种类NeRF的退化建模方法，并构建了大规模训练数据集，使得深度神经网络能够有效去除NeRF固有的渲染伪影。此外，除了退化去除之外，我们进一步提出一种跨视角聚合框架，能够融合语义相关性高且质量优异的训练图像，显著提升当前先进NeRF模型的性能，生成高度逼真的合成视图。基于该范式，我们进一步提出了NeRFLiX++，其采用更强的两阶段NeRF退化模拟器与更高效的跨视角混合模块，在显著提升计算效率的同时，实现了更优的重建性能。值得注意的是，NeRFLiX++能够从噪声较多的低分辨率NeRF渲染视图中，恢复出逼真的超高清输出。大量实验结果表明，NeRFLiX++在多个新视角合成基准测试中均展现出卓越的图像修复能力。