4 个月前

StackGAN++:基于堆叠生成对抗网络的逼真图像合成

StackGAN++:基于堆叠生成对抗网络的逼真图像合成

摘要

尽管生成对抗网络(GANs)在各种任务中取得了显著的成功,但在生成高质量图像方面仍面临挑战。本文提出了一种堆叠生成对抗网络(StackGAN),旨在生成高分辨率的照片级真实图像。首先,我们提出了一种两阶段生成对抗网络架构——StackGAN-v1,用于从文本到图像的合成。第一阶段的GAN根据给定的文本描述绘制对象的基本形状和颜色,生成低分辨率图像。第二阶段的GAN以第一阶段的结果和文本描述为输入,生成具有照片级真实细节的高分辨率图像。其次,我们提出了一种先进的多阶段生成对抗网络架构——StackGAN-v2,适用于条件性和非条件性生成任务。我们的StackGAN-v2由多个生成器和判别器组成,呈树状结构;不同分支生成同一场景的多尺度图像。通过联合逼近多个分布,StackGAN-v2比StackGAN-v1表现出更稳定的训练行为。大量实验表明,所提出的堆叠生成对抗网络在生成照片级真实图像方面显著优于其他最先进方法。

代码仓库

Maymaher/StackGANv2
pytorch
GitHub 中提及
rightlit/StackGAN-v2-rev
pytorch
GitHub 中提及
taoxugit/AttnGAN
pytorch
GitHub 中提及
hiarsal/dae-gan
pytorch
GitHub 中提及
davidstap/AttnGAN
pytorch
GitHub 中提及
komiya-m/MirrorGAN
pytorch
GitHub 中提及
kkanshul/finegan
pytorch
GitHub 中提及
hanzhanggit/StackGAN
官方
tf
GitHub 中提及
priscillalui/StackGAN-Stories
pytorch
GitHub 中提及
hanzhanggit/StackGAN-Pytorch
pytorch
GitHub 中提及
tobran/DF-GAN
pytorch
GitHub 中提及
akanimax/T2F
pytorch
GitHub 中提及
Vigneshthanga/stackGAN-v2
pytorch
GitHub 中提及
hanzhanggit/StackGAN-v2
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
image-generation-on-lsun-bedroom-256-x-256StackGAN-v2
FID: 35.61
text-to-image-generation-on-cocoStackGAN-v1
FID: 74.05
Inception score: 8.45
text-to-image-generation-on-cubStackGAN-v2
FID: 15.3
Inception score: 3.82
text-to-image-generation-on-cubStackGAN-v1
FID: 51.89
Inception score: 3.7
text-to-image-generation-on-oxford-102StackGAN-v1
FID: 55.28
Inception score: 3.2
text-to-image-generation-on-oxford-102StackGAN-v2
FID: 48.68
Inception score: 3.26

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
StackGAN++:基于堆叠生成对抗网络的逼真图像合成 | 论文 | HyperAI超神经