摘要

扩散模型学习预测一个梯度向量场。我们提出对学习得到的梯度应用链式法则，并将扩散模型的得分通过可微分渲染器的雅可比矩阵进行反向传播，其中我们将该渲染器具体实现为体素辐射场（voxel radiance field）。该框架能够将多个相机视角下的二维得分聚合为三维得分，从而复用预训练的二维生成模型以实现三维数据生成。我们识别出在此应用中出现的一个关键技术挑战——分布不匹配问题，并提出一种新颖的估计机制来解决该问题。我们在多个现成的扩散图像生成模型上运行了该算法，包括最近发布的基于大规模 LAION 数据集训练的 Stable Diffusion 模型。