摘要

我们介绍了一种新的生成模型，该模型通过使用数据分布梯度（通过得分匹配方法估计）的Langevin动力学来生成样本。由于当数据位于低维流形上时，梯度可能定义不良且难以估计，我们使用不同水平的高斯噪声对数据进行扰动，并联合估计所有噪声水平下对应的得分，即扰动数据分布的梯度向量场。在采样过程中，我们提出了一种退火Langevin动力学方法，随着采样过程逐渐接近数据流形，使用对应于逐渐减小的噪声水平的梯度。我们的框架允许灵活的模型架构，无需在训练期间进行采样或使用对抗方法，并提供了一个可用于原则性模型比较的学习目标。我们的模型在MNIST、CelebA和CIFAR-10数据集上生成的样本与GAN相当，并在CIFAR-10数据集上达到了8.87的新最高Inception分数。此外，我们通过图像修复实验展示了我们的模型学习了有效的表示方法。