4 个月前

Flow++:通过变分去量化和架构设计改进基于流的生成模型

Flow++:通过变分去量化和架构设计改进基于流的生成模型

摘要

基于流的生成模型是一种强大的精确似然模型,具有高效的采样和推理能力。尽管其计算效率较高,但基于流的模型在密度建模性能方面通常远不如最先进的自回归模型。在本文中,我们研究并改进了先前工作中基于流的模型所采用的三个限制性设计选择:用于去量化(dequantization)的均匀噪声、表现力不足的仿射流(affine flows)以及耦合层中仅使用卷积条件网络。根据我们的研究结果,我们提出了Flow++,这是一种新的基于流的模型,目前已成为标准图像基准测试中无条件密度估计的最佳非自回归模型。我们的工作开始缩小迄今为止自回归模型与基于流的模型之间存在的显著性能差距。我们的实现代码可在https://github.com/aravindsrinivas/flowpp 获取。

代码仓库

aravindsrinivas/flowpp
官方
tf
GitHub 中提及
SamArgt/AudioSourceSep
tf
GitHub 中提及
hojonathanho/localbitsback
pytorch
GitHub 中提及
aravind0706/flowpp
官方
tf
GitHub 中提及

基准测试

基准方法指标
image-generation-on-imagenet-32x32Flow++
bpd: 3.86
image-generation-on-imagenet-64x64Flow++
Bits per dim: 3.69

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
Flow++:通过变分去量化和架构设计改进基于流的生成模型 | 论文 | HyperAI超神经