摘要

近年来，神经变分推断的进展引发了深度潜在变量模型的复兴。本文介绍了一种适用于生成模型和条件文本模型的通用变分推断框架。传统的变分方法通常为难以处理的潜在变量分布导出一个解析近似，而我们在此构建了一个以离散文本输入为条件的推理网络，以提供变分分布。我们在两个截然不同的文本建模应用上验证了该框架的有效性：生成文档建模和监督式问答。我们的神经变分文档模型结合了连续随机文档表示和词袋生成模型，在两个标准测试语料库上达到了最低报告困惑度。神经答案选择模型在注意力机制中引入了一个随机表示层，用于提取问题和答案对之间的语义关系。在两个问答基准测试中，该模型超过了所有先前已发表的基准成绩。