3 个月前

用于人物图像生成的二分图推理GAN

用于人物图像生成的二分图推理GAN

摘要

我们提出了一种新型的双图推理生成对抗网络(Bipartite Graph Reasoning GAN,简称 BiGraphGAN),用于解决极具挑战性的人像生成任务。所提出的图生成器主要由两个创新模块构成,分别用于建模姿态到姿态以及姿态到图像之间的关联关系。具体而言,提出的双图推理(Bipartite Graph Reasoning, BGR)模块旨在在双图结构中推理源姿态与目标姿态之间的跨域长程依赖关系,从而缓解姿态变形带来的若干挑战。此外,我们设计了一种新型的交互与聚合(Interaction-and-Aggregation, IA)模块,通过交互式方式有效更新并增强人体形状与外观特征的表示能力。在两个具有挑战性且公开的基准数据集——Market-1501 和 DeepFashion 上的实验结果表明,所提出的 BiGraphGAN 在客观量化指标和主观视觉逼真度方面均表现出显著优势。项目源代码及训练好的模型已公开,可访问 https://github.com/Ha0Tang/BiGraphGAN 获取。

代码仓库

Ha0Tang/BiGraphGAN
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
pose-transfer-on-deep-fashionBiGraphGAN
IS: 3.430
PCKh: 0.97
SSIM: 0.778
pose-transfer-on-market-1501BiGraphGAN
IS: 3.329
PCKh: 0.94
SSIM: 0.325
mask-IS: 3.695
mask-SSIM: 0.818

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于人物图像生成的二分图推理GAN | 论文 | HyperAI超神经