摘要

尽管能量基模型（Energy-Based Models, EBMs）具备多项理想特性，但在高维数据集上的训练与采样仍面临显著挑战。受近期扩散概率模型进展的启发，我们提出一种扩散恢复似然（diffusion recovery likelihood）方法，可高效地学习并从一系列在逐渐加噪的数据版本上训练的EBM中进行采样。每个EBM均采用恢复似然进行训练，该方法旨在最大化在某一噪声水平下的数据条件概率，条件是其在更高噪声水平下的观测版本。与边缘似然相比，优化恢复似然更具可操作性，因为从条件分布中采样远比从边缘分布中采样更为简便。训练完成后，可通过一种采样过程生成合成图像：该过程从高斯白噪声分布初始化，并逐步在噪声水平递减的条件下采样条件分布。我们的方法在多个图像数据集上均能生成高保真度的样本。在无条件CIFAR-10数据集上，该方法取得了9.58的FID值和8.30的Inception Score，优于大多数生成对抗网络（GANs）。此外，我们证明了与以往EBM研究不同，本方法中基于条件分布的长时间MCMC采样不会发散，仍能生成具有现实意义的图像，从而使得我们能够准确估计高维数据集上的归一化数据密度。相关代码实现已开源，地址为：https://github.com/ruiqigao/recovery_likelihood。