摘要

渲染技术通过模拟图像形成过程中的物理现象，弥合了二维视觉与三维场景之间的差距。通过逆向这种渲染器，可以设想一种从二维图像中推断三维信息的学习方法。然而，标准的图形渲染器涉及一个基本的离散化步骤——光栅化，这使得渲染过程不可微分，因此无法进行学习。与现有的最先进可微分渲染器不同，后者仅在反向传播过程中近似渲染梯度，我们提出了一种真正可微分的渲染框架，该框架能够（1）直接使用可微分函数渲染着色网格；（2）从各种形式的图像表示（包括轮廓、阴影和彩色图像）高效地将监督信号反向传播到网格顶点及其属性。我们的框架的关键在于一种新颖的公式化方法，即将渲染视为一个聚合函数，该函数融合了所有网格三角形对渲染像素的概率贡献。这种公式化方法使我们的框架能够将梯度传递到被遮挡和远距离的顶点，这是现有最先进技术所无法实现的。我们展示了使用所提出的渲染器可以在定性和定量上显著提升三维无监督单视图重建的效果。实验还表明，我们的方法能够处理基于图像的形状拟合中的挑战性任务，而这些任务对于现有的可微分渲染器来说仍然具有相当大的难度。