摘要

摊销变分推断（Amortized Variational Inference, AVI）用全局推断网络替代了特定实例的局部推断。尽管AVI已经使得诸如变分自编码器（Variational Autoencoder, VAE）等深度生成模型的训练变得更加高效，但最近的经验研究表明，推断网络可能会产生次优的变分参数。我们提出了一种混合方法，即利用AVI初始化变分参数，并通过随机变分推断（Stochastic Variational Inference, SVI）对其进行优化。关键在于，局部SVI过程本身是可微的，因此可以使用基于梯度的优化方法对推断网络和生成模型进行端到端的训练。这种半摊销方法能够在不经历后验坍缩现象的情况下使用复杂的生成模型，而这一现象在使用VAE进行文本生成等问题时较为常见。实验结果表明，该方法在标准文本和图像数据集上优于强大的自回归和变分基线模型。