摘要

如何在存在连续潜在变量且其后验分布难以处理的情况下，对大规模数据集上的有向概率模型进行高效的推理和学习？我们提出了一种适用于大规模数据集的随机变分推断和学习算法，在某些温和的可微条件下，该算法即使在难以处理的情况下也能工作。我们的贡献主要体现在两个方面。首先，我们证明了变分下界的一种重参数化方法可以产生一个可以直接使用标准随机梯度方法优化的下界估计器。其次，对于每个数据点包含连续潜在变量的独立同分布（i.i.d.）数据集，通过使用所提出的下界估计器拟合一个近似推断模型（也称为识别模型）来逼近难以处理的后验分布，可以使后验推断特别高效。理论优势在实验结果中得到了体现。