摘要

逆向渲染方法旨在从多视角RGB图像中估计几何形状、材质和光照。为了实现更好的分解效果，近期的方法尝试通过球面高斯（Spherical Gaussians, SG）模型来表示不同材质反射的间接光照，然而这种方法往往会模糊高频反射细节。在本文中，我们提出了一种端到端的逆向渲染流水线，该流水线能够从多视角图像中分解出材质和光照，并考虑近场间接光照。简而言之，我们引入了基于蒙特卡洛采样的路径追踪技术，并将间接光照缓存为神经辐射，从而实现了一种物理真实且易于优化的逆向渲染方法。为了提高效率和实用性，我们利用SG表示平滑的环境光照，并应用重要性采样技术。为了监督未观察方向上的间接光照，我们开发了一种新的辐射一致性约束条件，该约束条件在隐式神经辐射与未观察光线的路径追踪结果之间建立联系，并与材质和光照的联合优化相结合，从而显著提升了分解性能。大量的实验表明，我们的方法在多个合成数据集和真实数据集上均优于现有最先进方法，特别是在互反射分解方面。我们的代码和数据可在https://woolseyyy.github.io/nefii/ 获取。