摘要

我们提出了一种从多视角图像观测中联合优化拓扑结构、材料和光照的有效方法。与最近的多视角重建方法不同，后者通常生成编码在神经网络中的纠缠3D表示，我们的方法输出的是带有空间变化材料和环境光照的三角网格模型，可以直接部署在任何传统图形引擎中而无需修改。我们利用了可微渲染领域的最新进展，以及基于坐标的网络来紧凑地表示体纹理，并通过可微四面体行进算法实现了直接在表面网格上进行梯度优化。最后，我们引入了一种环境光照分裂求和近似的可微公式，以高效地恢复全频段光照。实验表明，我们提取的模型可用于高级场景编辑、材料分解和高质量视图插值，并且在基于三角形的渲染器（光栅化器和路径追踪器）中均能以交互速率运行。项目网站：https://nvlabs.github.io/nvdiffrec/ 。