4 个月前

基于蒙特卡洛渲染和降噪的图像形状、光照和材质分解

基于蒙特卡洛渲染和降噪的图像形状、光照和材质分解

摘要

近年来,可微渲染技术的发展使得从多视角图像中重建高质量的3D场景成为可能。大多数方法依赖于简单的渲染算法:预过滤的直接光照或学习到的辐照度表示。我们证明,通过结合光线追踪和蒙特卡洛积分的更逼真的着色模型,可以显著提高形状、材质和光照的分解效果。然而,即使在大样本数量下,蒙特卡洛积分仍然会提供带有显著噪声的估计值,这使得基于梯度的逆向渲染非常具有挑战性。为了解决这一问题,我们在一个新颖的逆向渲染管道中引入了多重重要性采样和去噪技术。这不仅显著提高了收敛速度,还使得在低样本数量下也能进行基于梯度的优化。我们提出了一种高效的方法,可以联合重建几何结构(显式三角网格)、材质和光照,与以往的工作相比,这种方法在材质和光照分离方面有显著改进。我们认为,去噪可以成为高质量逆向渲染管道的重要组成部分。

代码仓库

NVlabs/nvdiffrecmc
官方
pytorch

基准测试

基准方法指标
image-relighting-on-stanford-orbNVDiffRecMC
HDR-PSNR: 24.43
LPIPS: 0.036
SSIM: 0.972
inverse-rendering-on-stanford-orbNVDiffRecMC
HDR-PSNR: 24.43
surface-normals-estimation-on-stanford-orbNVDiffRecMC
Cosine Distance: 0.04

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于蒙特卡洛渲染和降噪的图像形状、光照和材质分解 | 论文 | HyperAI超神经