4 个月前

FFJORD:用于可扩展可逆生成模型的自由形式连续动力学

FFJORD:用于可扩展可逆生成模型的自由形式连续动力学

摘要

一类有前景的生成模型通过可逆神经网络将简单分布中的点映射到复杂分布中。基于似然性的训练方法要求限制这些模型的架构,以便能够高效计算雅可比行列式。作为替代方案,如果变换是由常微分方程指定的,则可以使用雅可比迹。在本文中,我们利用赫特奇斯迹估计器(Hutchinson's trace estimator)提供了一个可扩展且无偏的对数密度估计。结果是一个具有无偏密度估计和单次采样的连续时间可逆生成模型,同时允许不受限的神经网络架构。我们在高维密度估计、图像生成和变分推断中验证了该方法的有效性,在高效采样的条件下,其性能达到了精确似然方法中的最先进水平。

代码仓库

rtqichen/ffjord
pytorch
GitHub 中提及
jackgoffinet/ffjord-lite
pytorch
GitHub 中提及
lenz3000/ffjord-path
pytorch
GitHub 中提及
mandubian/pytorch-neural-ode
pytorch
GitHub 中提及

基准测试

基准方法指标
density-estimation-on-bsds300FFJORD
CD: 0.683
EMD: 0.0281
Log-likelihood: 157.4
MMD-CD: 0.548
MMD-EMD: 0.0227
NLL: -157.4
density-estimation-on-caltech-101FFJORD
COV-L2: 98.8%
MMD-L2: 18.6
Negative ELBO: 104.03
density-estimation-on-cifar-10FFJORD
NLL (bits/dim): 3.4
density-estimation-on-freyfacesFFJORD
COV-L2: 100%
MMD-L2: 0.834
Negative ELBO: 4.39
density-estimation-on-mnistFFJORD
COV-L2: 96.4%
MMD-L2: 17.3
NLL (bits/dim): 0.99
density-estimation-on-omniglotFFJORD
COV-L2: 99%
MMD-L2: 20.5
Negative ELBO: 98.33
density-estimation-on-uci-gasFFJORD
CD: 1.29
EMD: 0.146
Log-likelihood: 8.59
MMD-CD: 0.95
MMD-EMD: 0.135
density-estimation-on-uci-hepmassFFJORD
CD: 13.8
EMD: 0.164
Log-likelihood: -14.92
MMD-CD: 13.8
MMD-EMD: 0.158
NLL: 14.92
density-estimation-on-uci-minibooneFFJORD
CD: 24.6
EMD: 0.27
Log-likelihood: -10.43
MMD-CD: 24.1
MMD-EMD: 0.254
NLL: 10.43
density-estimation-on-uci-powerFFJORD
CD: 0.153
EMD: 0.116
Log-likelihood: 0.46
MMD-CD: 0.144
MMD-EMD: 0.111
NLL: -0.46

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
FFJORD:用于可扩展可逆生成模型的自由形式连续动力学 | 论文 | HyperAI超神经