摘要

变分自编码器（Variational Auto-Encoder, VAE）是目前最常用的无监督机器学习模型之一。然而，尽管先验分布和后验分布均选择高斯分布这一默认设置在数学上非常方便，并且通常能获得具有竞争力的结果，我们发现这种参数化方法无法对具有潜在超球面结构的数据进行建模。为了解决这一问题，我们提出使用冯·米塞斯-费舍尔（von Mises-Fisher, vMF）分布替代高斯分布，从而构建一个超球面潜在空间。通过一系列实验，我们展示了这种超球面VAE（$\mathcal{S}$-VAE）更适合捕捉具有超球面潜在结构的数据，并且在低维情况下对其他类型的数据也优于传统的高斯VAE（$\mathcal{N}$-VAE）。代码见：http://github.com/nicola-decao/s-vae-tf 和 https://github.com/nicola-decao/s-vae-pytorch