摘要

密度估计 $p(x)$ 的基本任务一直是机器学习领域的研究热点。在本工作中，我们试图系统地描述密度估计方法的特征。总体而言，现有的大多数方法可以归类为以下两种之一：\textit{a}) 使用自回归模型来估计链式法则中的条件因子，$p(x_{i}\, |\, x_{i-1}, \ldots)$；或 \textit{b}) 对简单基分布的变量进行非线性变换。基于对这些类别特征的研究，我们为每个类别提出了多种新颖的方法。例如，我们提出了一种基于递归神经网络（RNN）的变换方法来建模非马尔可夫依赖关系。此外，通过对真实世界数据和合成数据的全面研究，我们展示了同时利用变量变换和自回归条件模型可以显著提高性能。我们在异常检测和图像建模中演示了所提模型的应用。最后，我们引入了一种新的数据驱动框架，用于学习一系列分布。