摘要

扩散模型在多个领域展现出卓越的性能。扩散模型的概率流常微分方程（Diffusion ODE）是连续归一化流（Continuous Normalizing Flows, CNFs）的一个特例，能够实现确定性推理与精确的似然值评估。然而，当前基于扩散ODE的似然估计性能仍远落后于最先进的基于似然的生成模型。在本工作中，我们提出了一系列针对扩散ODE最大似然估计的改进技术，涵盖训练与评估两个方面。在训练阶段，我们提出了速度参数化方法，并探索了方差缩减技术，以加速模型收敛。此外，我们推导出一种误差有界高阶流匹配目标，用于微调阶段，该目标不仅提升了ODE的似然值，还使轨迹更加平滑。在评估阶段，我们提出了一种新颖的无需训练的截断正态去量化方法，有效弥合了扩散ODE在训练与评估之间普遍存在的差距。基于上述技术，我们在图像数据集上取得了当前最优的似然估计性能：在CIFAR-10上达到2.56的似然分数（无需变分去量化或数据增强），在ImageNet-32上分别达到3.43和3.69；若使用数据增强，则CIFAR-10上的似然分数进一步提升至2.42。相关代码已开源，地址为：\url{https://github.com/thu-ml/i-DODE}。