4 个月前

使用子尺度像素网络和多维上采样生成高保真图像

使用子尺度像素网络和多维上采样生成高保真图像

摘要

无条件生成高保真图像一直是测试图像解码器性能的重要基准。自回归图像模型已经能够在无条件的情况下生成小尺寸图像,但将这些方法扩展到大尺寸图像上,以便更容易评估其保真度,仍然是一个未解决的问题。主要挑战包括编码大量先前上下文的能力以及学习一种既能保持全局语义连贯性又能精确细节的分布的难度。为了解决前一个挑战,我们提出了一种子尺度像素网络(Subscale Pixel Network, SPN),这是一种条件解码器架构,可以将图像作为一系列等大小的子图像序列来生成。SPN能够紧凑地捕捉整个图像的空间依赖关系,并且所需的内存和计算量仅为其他完全自回归模型的一小部分。为了应对后一个挑战,我们建议使用多维上采样技术通过中间阶段利用不同的SPN来同时增加图像的尺寸和深度。我们在CelebAHQ数据集(256×256)和ImageNet数据集(从32×32到256×256)上对SPN进行了无条件生成评估。在多种设置下,我们取得了最先进的似然结果,建立了之前未探索设置下的新基准结果,并且能够基于这两个数据集生成非常高质量的大规模样本。

基准测试

基准方法指标
image-generation-on-celeba-256x256SPN Menick and Kalchbrenner (2019)
bpd: 0.61
image-generation-on-imagenet-32x32SPN Menick and Kalchbrenner (2019)
bpd: 3.85
image-generation-on-imagenet-64x64SPN
Bits per dim: 3.52

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
使用子尺度像素网络和多维上采样生成高保真图像 | 论文 | HyperAI超神经