我们介绍了PhySG，这是一种端到端的逆向渲染管道，包括一个完全可微分的渲染器，可以从一组RGB输入图像中从零开始重建几何形状、材质和光照。我们的框架使用球面高斯混合模型表示镜面BRDF（双向反射分布函数）和环境光照，并将几何形状表示为由多层感知机参数化的符号距离函数。使用球面高斯混合模型使我们能够高效地求解近似光传输问题，我们的方法适用于在自然、静态光照条件下捕获的具有挑战性的非朗伯反射率场景。通过合成数据和真实数据，我们展示了我们的重建不仅能够实现新视角的渲染，还支持基于物理的材质和光照外观编辑。