摘要

主题模型作为文档的概率生成模型已经得到了广泛的研究。传统的推理方法一直致力于寻找模型更新的闭式解，然而随着这些模型表达能力的增强，对其参数进行快速而准确的推理也变得越来越困难。本文提出了一种基于神经网络的替代方法来进行主题建模，通过提供可参数化的主题分布，使得在神经变分推理框架中可以通过反向传播进行训练。此外，借助棍棒断裂构造（stick-breaking construction），我们提出了一种递归网络，该网络能够发现理论上无限数量的主题，类似于贝叶斯非参数主题模型。实验结果表明，在MXM歌词数据集、20Newsgroups数据集和Reuters新闻数据集上，这些神经主题模型的有效性和高效性得到了验证。