4 个月前

并行多尺度自回归密度估计

并行多尺度自回归密度估计

摘要

PixelCNN 在自然图像的密度估计方面取得了最先进的成果。尽管训练速度快,但推理成本高昂,需要对每个像素进行一次网络评估;对于 N 个像素,其复杂度为 O(N)。通过缓存激活可以加速这一过程,但仍需依次生成每个像素。在本研究中,我们提出了一种并行化的 PixelCNN 模型,该模型通过将某些像素组建模为条件独立来实现更高效的推理。我们的新 PixelCNN 模型不仅在密度估计方面具有竞争力,而且实现了数量级的速度提升——采样复杂度从 O(N) 降低到 O(log N),从而使得 512x512 图像的实际生成成为可能。我们在类别条件图像生成、文本到图像合成以及动作条件视频生成等任务上对模型进行了评估,结果显示我们的模型在允许高效采样的非像素自回归密度模型中取得了最佳结果。

基准测试

基准方法指标
image-compression-on-imagenet32MS-PixelCNN
bpsp: 3.95
image-generation-on-imagenet-64x64Parallel Multiscale
Bits per dim: 3.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
并行多尺度自回归密度估计 | 论文 | HyperAI超神经