
摘要
一类有前景的生成模型通过可逆神经网络将简单分布中的点映射到复杂分布中。基于似然性的训练方法要求限制这些模型的架构,以便能够高效计算雅可比行列式。作为替代方案,如果变换是由常微分方程指定的,则可以使用雅可比迹。在本文中,我们利用赫特奇斯迹估计器(Hutchinson's trace estimator)提供了一个可扩展且无偏的对数密度估计。结果是一个具有无偏密度估计和单次采样的连续时间可逆生成模型,同时允许不受限的神经网络架构。我们在高维密度估计、图像生成和变分推断中验证了该方法的有效性,在高效采样的条件下,其性能达到了精确似然方法中的最先进水平。
代码仓库
rtqichen/ffjord
pytorch
GitHub 中提及
jacobjinkelly/easy-neural-ode
jax
GitHub 中提及
jackgoffinet/ffjord-lite
pytorch
GitHub 中提及
francois-rozet/zuko
pytorch
BorealisAI/continuous-time-flow-process
pytorch
GitHub 中提及
lenz3000/ffjord-path
pytorch
GitHub 中提及
mandubian/pytorch-neural-ode
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| density-estimation-on-bsds300 | FFJORD | CD: 0.683 EMD: 0.0281 Log-likelihood: 157.4 MMD-CD: 0.548 MMD-EMD: 0.0227 NLL: -157.4 |
| density-estimation-on-caltech-101 | FFJORD | COV-L2: 98.8% MMD-L2: 18.6 Negative ELBO: 104.03 |
| density-estimation-on-cifar-10 | FFJORD | NLL (bits/dim): 3.4 |
| density-estimation-on-freyfaces | FFJORD | COV-L2: 100% MMD-L2: 0.834 Negative ELBO: 4.39 |
| density-estimation-on-mnist | FFJORD | COV-L2: 96.4% MMD-L2: 17.3 NLL (bits/dim): 0.99 |
| density-estimation-on-omniglot | FFJORD | COV-L2: 99% MMD-L2: 20.5 Negative ELBO: 98.33 |
| density-estimation-on-uci-gas | FFJORD | CD: 1.29 EMD: 0.146 Log-likelihood: 8.59 MMD-CD: 0.95 MMD-EMD: 0.135 |
| density-estimation-on-uci-hepmass | FFJORD | CD: 13.8 EMD: 0.164 Log-likelihood: -14.92 MMD-CD: 13.8 MMD-EMD: 0.158 NLL: 14.92 |
| density-estimation-on-uci-miniboone | FFJORD | CD: 24.6 EMD: 0.27 Log-likelihood: -10.43 MMD-CD: 24.1 MMD-EMD: 0.254 NLL: 10.43 |
| density-estimation-on-uci-power | FFJORD | CD: 0.153 EMD: 0.116 Log-likelihood: 0.46 MMD-CD: 0.144 MMD-EMD: 0.111 NLL: -0.46 |