摘要

基于深度网络的概率密度模型在建模复杂高维数据集方面取得了显著成功。然而，与核密度估计器不同，现代神经网络模型无法以闭式表达形式获得边缘分布或条件分布，因为这些量通常需要计算难以处理的积分。在本工作中，我们提出了一种新型深度网络架构——可边缘化密度模型近似器（Marginalizable Density Model Approximator, MDMA），该模型能够为任意变量子集的概率、边缘分布和条件分布提供闭式表达。MDMA为每个变量学习深层标量表示，并通过可学习的分层张量分解方式将其组合，构建出一种既易于计算又具有强表达能力的累积分布函数（CDF），从而可便捷地获得边缘分布与条件密度。我们在多个此前深度网络密度估计模型难以处理的任务中展示了精确边缘化的优越性，例如：准确估计任意变量子集之间的互信息、通过条件独立性检验推断因果关系，以及在无需数据插补的情况下进行缺失数据推断，均显著优于当前最先进的模型。此外，该模型支持并行采样，其时间复杂度仅与变量数量的对数呈依赖关系。