摘要

去噪扩散模型（Denoising Diffusion Models, DDMs）已成为一类强大的生成模型。其前向扩散过程逐步对数据施加噪声扰动，而深度模型则学习逐步去除噪声。生成过程本质上等价于求解由学习得到的模型所定义的微分方程（Differential Equation, DE）。然而，为实现高质量生成，传统方法需依赖缓慢的迭代求解器。在本工作中，我们提出了高阶去噪扩散求解器（GENIE）：基于截断泰勒方法，我们推导出一种新型高阶求解器，可显著加速生成过程。该求解器依赖于扰动数据分布的高阶梯度，即高阶得分函数（score functions）。在实际应用中，仅需计算雅可比-向量积（Jacobian-Vector Products, JVPs），我们提出通过自动微分从一阶得分网络中提取这些JVPs。随后，我们将这些JVPs蒸馏至一个独立的神经网络中，从而在生成阶段高效计算新采样器所需的高阶项。整个过程仅需在原有的一阶得分网络之上额外训练一个小型分支头（head）。我们在多个图像生成基准上验证了GENIE的有效性，结果表明，GENIE在性能上超越了所有先前的求解器。与近期需根本性改变DDM生成流程的方法不同，GENIE求解的是真实的生成微分方程，同时仍支持编码与引导采样等重要应用。项目主页与代码：https://nv-tlabs.github.io/GENIE。