
摘要
本文研究了在给定姿态条件下生成人物图像的问题。具体而言,给定一个人物的图像和一个目标姿态,我们旨在合成该人物在新姿态下的图像。为应对由于姿态差异导致的像素级错位问题,我们在生成对抗网络(GAN)的生成器中引入了可变形跳跃连接。此外,为更准确地匹配生成图像与目标图像的细节,我们提出采用最近邻损失(nearest-neighbour loss)替代传统的L1和L2损失。我们在不同姿态下的人物照片上测试了所提出的方法,并与该领域先前的工作进行比较,结果在两个基准测试中均达到了当前最优水平。只要能够通过关键点检测器提取出关节物体的姿态,本方法即可推广至更广泛的可变形物体生成任务中。
代码仓库
AliaksandrSiarohin/pose-gan
官方
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| gesture-to-gesture-translation-on-ntu-hand | PoseGAN | AMT: 9.3 IS: 2.4017 PSNR: 29.5471 |
| gesture-to-gesture-translation-on-senz3d | PoseGAN | AMT: 8.6 IS: 3.2147 PSNR: 27.3014 |
| pose-transfer-on-deep-fashion | Deformable GAN | IS: 3.439 LPIPS: 0.233 Retrieval Top10 Recall: 30.07 SSIM: 0.756 |