摘要

变分自编码器（VAE）在文本处理中的一个显著特点是将强大的编码器-解码器模型（如LSTM）与简单的潜在分布（通常是多变量高斯分布）相结合。这些模型面临一个困难的优化问题：存在一个特别糟糕的局部最优解，即变分后验分布始终等于先验分布，导致模型完全不使用潜在变量，这种现象被称为“KL散度崩溃”，是由目标函数中的KL散度项所推动的。在这项工作中，我们尝试了另一种潜在分布的选择，即von Mises-Fisher（vMF）分布，该分布在单位超球面上放置质量。通过选择这种先验和后验分布，KL散度项现在仅依赖于vMF分布的方差，使我们可以将其视为一个固定的超参数。我们证明这样做不仅避免了KL散度崩溃，而且在包括循环语言建模和词袋文档建模在内的多种建模条件下，相比于高斯分布能持续提供更好的似然性。对我们的vMF表示属性的分析表明，它们在其潜在表示中学习到比高斯对应物更丰富和细致的结构。