摘要

主题模型是学习文本表示最流行的方法之一，但其主要挑战在于任何对主题模型的修改都需要数学推导出新的推理算法。一种有前景的解决方法是自编码变分贝叶斯（Autoencoding Variational Bayes, AEVB），但在实际应用中将其应用于主题模型却非常困难。我们提出了一种基于AEVB的有效推理方法，用于潜在狄利克雷分配（Latent Dirichlet Allocation, LDA），并将其称为自动编码变分推理主题模型（Autoencoded Variational Inference For Topic Model, AVITM）。该模型解决了狄利克雷先验和组件坍塌给AEVB带来的问题。我们发现，AVITM在准确性上与传统方法相当，但在推理时间上显著优于后者。事实上，由于推理网络的存在，我们发现无需在测试数据上运行变分优化以承担计算成本。由于AVITM具有黑盒特性，因此可以轻松应用于新的主题模型。为了生动说明这一点，我们介绍了一种新的主题模型——ProdLDA，它用专家产品的形式替换了LDA中的混合模型。通过仅修改LDA的一行代码，我们发现ProdLDA生成的主题更具可解释性，即使LDA是通过折叠吉布斯采样训练的也是如此。