
摘要
我们提出了一种新型的双图推理生成对抗网络(Bipartite Graph Reasoning GAN,简称 BiGraphGAN),用于解决极具挑战性的人像生成任务。所提出的图生成器主要由两个创新模块构成,分别用于建模姿态到姿态以及姿态到图像之间的关联关系。具体而言,提出的双图推理(Bipartite Graph Reasoning, BGR)模块旨在在双图结构中推理源姿态与目标姿态之间的跨域长程依赖关系,从而缓解姿态变形带来的若干挑战。此外,我们设计了一种新型的交互与聚合(Interaction-and-Aggregation, IA)模块,通过交互式方式有效更新并增强人体形状与外观特征的表示能力。在两个具有挑战性且公开的基准数据集——Market-1501 和 DeepFashion 上的实验结果表明,所提出的 BiGraphGAN 在客观量化指标和主观视觉逼真度方面均表现出显著优势。项目源代码及训练好的模型已公开,可访问 https://github.com/Ha0Tang/BiGraphGAN 获取。
代码仓库
Ha0Tang/BiGraphGAN
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| pose-transfer-on-deep-fashion | BiGraphGAN | IS: 3.430 PCKh: 0.97 SSIM: 0.778 |
| pose-transfer-on-market-1501 | BiGraphGAN | IS: 3.329 PCKh: 0.94 SSIM: 0.325 mask-IS: 3.695 mask-SSIM: 0.818 |