3 个月前

用于语义图像合成的双金字塔生成对抗网络

用于语义图像合成的双金字塔生成对抗网络

摘要

语义图像合成的目标是从语义标签图生成逼真的图像,这一任务在内容生成和图像编辑等领域具有重要意义。然而,当前最先进的方法在不同尺度下生成真实感物体方面仍存在挑战:小物体往往显得模糊甚至消失,而大物体则常常被生成为多个图像块拼接而成的“拼贴”效果。为解决这一问题,本文提出了一种双金字塔生成对抗网络(Dual Pyramid Generative Adversarial Network, DP-GAN),该网络在所有尺度上联合学习空间自适应归一化模块的条件化机制,从而实现尺度信息的双向利用,并统一多尺度下的监督信号。实验结果表明,无论是定性还是定量评估,所提方法生成的图像在小物体和大物体的真实感表现上均显著优于当前最先进的方法。

代码仓库

sj-li/dp_gan
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
image-to-image-translation-on-ade20k-labelsDP-GAN
FID: 26.1
mIoU: 52.7
image-to-image-translation-on-ade20k-outdoorDP-GAN
FID: 45.8
mIoU: 40.4
image-to-image-translation-on-cityscapesDP-GAN
FID: 44.1
mIoU: 73.6

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于语义图像合成的双金字塔生成对抗网络 | 论文 | HyperAI超神经