摘要

随着变分自编码器（Variational Autoencoder, VAE）的引入，概率潜在变量模型作为强大的生成模型再次受到关注。然而，在测试似然性和生成样本质量方面，其性能已被没有随机单元的自回归模型所超越。此外，基于流的模型最近被证明是一种可扩展到高维数据的有吸引力的替代方案。在本文中，我们通过构建能够有效利用深层随机变量层次结构并建模复杂协方差结构的VAE模型，缩小了这一性能差距。我们介绍了双向推理变分自编码器（Bidirectional-Inference Variational Autoencoder, BIVA），该模型的特点是具有跳跃连接的生成模型和由双向随机推理路径组成的推断网络。我们展示了BIVA达到了最先进的测试似然性，生成了清晰且连贯的自然图像，并利用潜在变量的层次结构捕捉数据分布的不同方面。我们观察到，与近期结果不同的是，BIVA可以用于异常检测。我们认为这是由于潜在变量的层次结构能够提取高层次的语义特征。最后，我们将BIVA扩展到半监督分类任务中，并展示其性能与生成对抗网络（Generative Adversarial Networks, GANs）达到的最佳结果相当。