摘要

由于“后验坍缩”现象，当前的潜在变量生成模型在设计上面临一个具有挑战性的选择：要么削弱解码器的能力，要么增强目标函数以不仅最大化数据的似然性。本文提出了一种替代方案，利用最强大的生成模型作为解码器，同时优化变分下界，确保潜在变量保留并编码有用的信息。我们提出的 $\delta$-VAEs 通过约束后验分布的变分族与先验分布之间的最小距离来实现这一点。对于顺序潜在变量模型，我们的方法类似于经典的慢特征分析表示学习方法。我们在 LM1B 上对文本建模以及在图像建模方面展示了该方法的有效性：学习表示、提高样本质量，并在 CIFAR-10 和 ImageNet $32 \times 32$ 数据集上达到了最先进的对数似然值。