
摘要
近年来,可微渲染技术的发展使得从多视角图像中重建高质量的3D场景成为可能。大多数方法依赖于简单的渲染算法:预过滤的直接光照或学习到的辐照度表示。我们证明,通过结合光线追踪和蒙特卡洛积分的更逼真的着色模型,可以显著提高形状、材质和光照的分解效果。然而,即使在大样本数量下,蒙特卡洛积分仍然会提供带有显著噪声的估计值,这使得基于梯度的逆向渲染非常具有挑战性。为了解决这一问题,我们在一个新颖的逆向渲染管道中引入了多重重要性采样和去噪技术。这不仅显著提高了收敛速度,还使得在低样本数量下也能进行基于梯度的优化。我们提出了一种高效的方法,可以联合重建几何结构(显式三角网格)、材质和光照,与以往的工作相比,这种方法在材质和光照分离方面有显著改进。我们认为,去噪可以成为高质量逆向渲染管道的重要组成部分。
代码仓库
NVlabs/nvdiffrecmc
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-relighting-on-stanford-orb | NVDiffRecMC | HDR-PSNR: 24.43 LPIPS: 0.036 SSIM: 0.972 |
| inverse-rendering-on-stanford-orb | NVDiffRecMC | HDR-PSNR: 24.43 |
| surface-normals-estimation-on-stanford-orb | NVDiffRecMC | Cosine Distance: 0.04 |