摘要

将场景分解为其形状、反射率和光照是一个在计算机视觉和图形学中具有挑战性但又非常重要的问题。当光照不是实验室条件下的单一光源，而是不受限制的环境光照时，这个问题变得更加困难。尽管最近的研究表明可以使用隐式表示来建模物体的辐射场，但大多数这些技术仅能实现视图合成，而不能重新照明。此外，评估这些辐射场需要大量的资源和时间。我们提出了一种基于物理渲染的神经反射率分解（NeRD）技术，该技术可以将场景分解为空间变化的BRDF材料属性。与现有技术不同的是，我们的输入图像可以在不同的光照条件下获取。此外，我们还提出了将学习到的反射率体转换为可重新照明的纹理网格的技术，从而能够在新的光照条件下实现快速实时渲染。我们在合成数据集和真实数据集上进行了实验，展示了所提方法的潜力，能够从图像集合中获得高质量的可重新照明3D资产。数据集和代码可在项目页面获取：https://markboss.me/publication/2021-nerd/