
摘要
自回归模型是表现最佳的神经密度估计器之一。本文介绍了一种提高自回归模型灵活性的方法,该方法基于对模型在生成数据时内部使用的随机数进行建模。通过构建一个自回归模型堆栈,每个模型对堆栈中下一个模型的随机数进行建模,我们获得了一种适用于密度估计的归一化流(normalizing flow),称为掩码自回归流(Masked Autoregressive Flow)。这种类型的流与逆自回归流(Inverse Autoregressive Flow)密切相关,并且是对Real NVP的一种推广。掩码自回归流在一系列通用密度估计任务中取得了最先进的性能。
代码仓库
CW-Huang/CP-Flow
pytorch
GitHub 中提及
NVIDIA/radtts
pytorch
GitHub 中提及
francois-rozet/uci-datasets
GitHub 中提及
e-hulten/maf
pytorch
GitHub 中提及
chayanchatterjee/cbc-skynet
tf
GitHub 中提及
gpapamak/maf
官方
GitHub 中提及
lifeitech/fce-2d
pytorch
GitHub 中提及
e-hulten/real_nvp_2d
pytorch
GitHub 中提及
zhoudoao-bayes/tf-probability
tf
GitHub 中提及
ikostrikov/pytorch-flows
pytorch
GitHub 中提及
maho3/ltu-ili
pytorch
GitHub 中提及
ricokaloklo/denmarf
pytorch
GitHub 中提及
e-hulten/real-nvp-2d
pytorch
GitHub 中提及
GinGinWang/MTQ
pytorch
GitHub 中提及
Kronus97/natural-flows-digits
pytorch
GitHub 中提及
francois-rozet/zuko
pytorch
GitHub 中提及
mukehvier/tensorflow-prob
tf
GitHub 中提及
tensorflow/probability
tf
GitHub 中提及
mahkons/flows
pytorch
GitHub 中提及
kmzzhang/nbi
pytorch
GitHub 中提及
chayanchatterjee/gw-skylocator
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| density-estimation-on-bsds300 | MADE MoG | Log-likelihood: 153.71 |
| density-estimation-on-cifar-10 | MAF | Log-likelihood (nats): 3049 |
| density-estimation-on-cifar-10-conditional | MAF | Log-likelihood: 5872 |
| density-estimation-on-mnist | MADE MoG | Log-likelihood (nats): -1038.5 |
| density-estimation-on-uci-hepmass | MADE MoG | Log-likelihood: -15.15 |
| density-estimation-on-uci-miniboone | MADE MoG | Log-likelihood: -12.27 |
| density-estimation-on-uci-power | MADE MoG | Log-likelihood: 0.4 |