
摘要
合成人体骨架的空间和时间动态仍然是一个具有挑战性的任务,不仅在生成形状的质量方面,还在其多样性方面,尤其是针对特定动作(动作条件)合成逼真的身体运动。本文提出了一种新颖的架构——Kinetic-GAN,该架构结合了生成对抗网络(Generative Adversarial Networks, GAN)和图卷积网络(Graph Convolutional Networks, GCN)的优势,用于合成人体的动力学。所提出的对抗架构可以在局部和整体身体运动中调节多达120种不同的动作,同时通过潜在空间解耦和随机变化提高样本质量和多样性。我们在三个知名数据集上进行了实验,结果表明,Kinetic-GAN在分布质量指标方面显著超越了现有方法,并且能够合成的动作数量超过了一个数量级。我们的代码和模型已公开发布在 https://github.com/DegardinBruno/Kinetic-GAN。
代码仓库
degardinbruno/kinetic-gan
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| human-action-generation-on-human3-6m | Kinetic-GAN | MMDa: 0.071 MMDs: 0.082 |
| human-action-generation-on-ntu-rgb-d | Kinetic-GAN | FID (CS): 3.618 FID (CV): 4.235 |
| human-action-generation-on-ntu-rgb-d-120 | Kinetic-GAN | FID (CS): 5.967 FID (CV): 6.751 |
| human-action-generation-on-ntu-rgb-d-2d | Kinetic-GAN | MMDa (CS): 0.256 MMDa (CV): 0.295 MMDs (CS): 0.273 MMDs (CV): 0.310 |