摘要

在建模2D图像背后的3D世界时，哪种3D表示方法最为合适？多边形网格因其紧凑性和几何特性而成为一种有前景的选择。然而，使用神经网络从2D图像建模多边形网格并非易事，因为从网格到图像的转换，即渲染，涉及一个称为光栅化的离散操作，这阻碍了反向传播。因此，在本研究中，我们提出了一种近似光栅化梯度的方法，使得渲染可以被集成到神经网络中。利用这一渲染器，我们在使用轮廓图像监督的情况下进行了单幅图像3D网格重建，系统性能超过了现有的体素方法。此外，我们首次使用2D监督执行基于梯度的3D网格编辑操作，如2D到3D的风格迁移和3D DeepDream。这些应用展示了将网格渲染器集成到神经网络中的潜力以及我们所提出的渲染器的有效性。