
摘要
我们提出了一种新型生成对抗网络(XingGAN,又称CrossingGAN),用于人物图像生成任务,即实现将给定人物的姿态转换为目标姿态。所提出的Xing生成器包含两个并行生成分支,分别建模人物的外观特征与形状信息。此外,我们设计了两种新颖的模块,以交叉方式高效地传递与更新人物的形状与外观嵌入表示,从而相互促进、协同优化,这一机制在现有基于GAN的图像生成方法中尚未被探索。在两个具有挑战性的数据集——Market-1501和DeepFashion上的大量实验表明,所提出的XingGAN在客观量化指标与主观视觉真实感方面均显著优于现有最先进方法。项目源代码及训练好的模型已公开,详见:https://github.com/Ha0Tang/XingGAN。
代码仓库
Ha0Tang/XingGAN
官方
pytorch
GitHub 中提及
Ha0Tang/XingVTON
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| pose-transfer-on-deep-fashion | XingGAN | IS: 3.476 PCKh: 0.95 SSIM: 0.778 |
| pose-transfer-on-market-1501 | XingGAN | IS: 3.506 PCKh: 0.93 SSIM: 0.313 mask-IS: 3.872 mask-SSIM: 0.816 |