17 天前

基于姿态的人体图像生成可变形GANs

基于姿态的人体图像生成可变形GANs

摘要

本文研究了在给定姿态条件下生成人物图像的问题。具体而言,给定一个人物的图像和一个目标姿态,我们旨在合成该人物在新姿态下的图像。为应对由于姿态差异导致的像素级错位问题,我们在生成对抗网络(GAN)的生成器中引入了可变形跳跃连接。此外,为更准确地匹配生成图像与目标图像的细节,我们提出采用最近邻损失(nearest-neighbour loss)替代传统的L1和L2损失。我们在不同姿态下的人物照片上测试了所提出的方法,并与该领域先前的工作进行比较,结果在两个基准测试中均达到了当前最优水平。只要能够通过关键点检测器提取出关节物体的姿态,本方法即可推广至更广泛的可变形物体生成任务中。

代码仓库

AliaksandrSiarohin/pose-gan
官方
tf
GitHub 中提及

基准测试

基准方法指标
gesture-to-gesture-translation-on-ntu-handPoseGAN
AMT: 9.3
IS: 2.4017
PSNR: 29.5471
gesture-to-gesture-translation-on-senz3dPoseGAN
AMT: 8.6
IS: 3.2147
PSNR: 27.3014
pose-transfer-on-deep-fashionDeformable GAN
IS: 3.439
LPIPS: 0.233
Retrieval Top10 Recall: 30.07
SSIM: 0.756

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于姿态的人体图像生成可变形GANs | 论文 | HyperAI超神经