4 个月前

用于密度估计的掩码自回归流

用于密度估计的掩码自回归流

摘要

自回归模型是表现最佳的神经密度估计器之一。本文介绍了一种提高自回归模型灵活性的方法,该方法基于对模型在生成数据时内部使用的随机数进行建模。通过构建一个自回归模型堆栈,每个模型对堆栈中下一个模型的随机数进行建模,我们获得了一种适用于密度估计的归一化流(normalizing flow),称为掩码自回归流(Masked Autoregressive Flow)。这种类型的流与逆自回归流(Inverse Autoregressive Flow)密切相关,并且是对Real NVP的一种推广。掩码自回归流在一系列通用密度估计任务中取得了最先进的性能。

代码仓库

CW-Huang/CP-Flow
pytorch
GitHub 中提及
NVIDIA/radtts
pytorch
GitHub 中提及
e-hulten/maf
pytorch
GitHub 中提及
chayanchatterjee/cbc-skynet
tf
GitHub 中提及
gpapamak/maf
官方
GitHub 中提及
lifeitech/fce-2d
pytorch
GitHub 中提及
e-hulten/real_nvp_2d
pytorch
GitHub 中提及
ikostrikov/pytorch-flows
pytorch
GitHub 中提及
maho3/ltu-ili
pytorch
GitHub 中提及
ricokaloklo/denmarf
pytorch
GitHub 中提及
e-hulten/real-nvp-2d
pytorch
GitHub 中提及
GinGinWang/MTQ
pytorch
GitHub 中提及
Kronus97/natural-flows-digits
pytorch
GitHub 中提及
francois-rozet/zuko
pytorch
GitHub 中提及
mukehvier/tensorflow-prob
tf
GitHub 中提及
tensorflow/probability
tf
GitHub 中提及
mahkons/flows
pytorch
GitHub 中提及
kmzzhang/nbi
pytorch
GitHub 中提及

基准测试

基准方法指标
density-estimation-on-bsds300MADE MoG
Log-likelihood: 153.71
density-estimation-on-cifar-10MAF
Log-likelihood (nats): 3049
density-estimation-on-cifar-10-conditionalMAF
Log-likelihood: 5872
density-estimation-on-mnistMADE MoG
Log-likelihood (nats): -1038.5
density-estimation-on-uci-hepmassMADE MoG
Log-likelihood: -15.15
density-estimation-on-uci-minibooneMADE MoG
Log-likelihood: -12.27
density-estimation-on-uci-powerMADE MoG
Log-likelihood: 0.4

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于密度估计的掩码自回归流 | 论文 | HyperAI超神经