摘要

我们提出了一种简单的算法，用于训练随机神经网络以从给定的目标分布中抽取样本进行概率推理。该方法基于迭代调整神经网络参数，使得输出沿着一个Stein变分梯度变化，从而最大限度地减少与目标分布之间的KL散度。我们的方法适用于任何由其未归一化密度函数指定的目标分布，并且可以训练任何在我们希望调整的参数方面可微的黑箱架构。作为我们方法的一个应用，我们提出了一种摊销最大似然估计（MLE）算法来训练深度能量模型，其中神经采样器被自适应地训练以近似似然函数。我们的方法模拟了深度能量模型与神经采样器之间的一种对抗游戏，并获得了与现有最先进结果相媲美的逼真图像。