4 个月前

生成对抗图卷积网络用于人类动作合成

生成对抗图卷积网络用于人类动作合成

摘要

合成人体骨架的空间和时间动态仍然是一个具有挑战性的任务,不仅在生成形状的质量方面,还在其多样性方面,尤其是针对特定动作(动作条件)合成逼真的身体运动。本文提出了一种新颖的架构——Kinetic-GAN,该架构结合了生成对抗网络(Generative Adversarial Networks, GAN)和图卷积网络(Graph Convolutional Networks, GCN)的优势,用于合成人体的动力学。所提出的对抗架构可以在局部和整体身体运动中调节多达120种不同的动作,同时通过潜在空间解耦和随机变化提高样本质量和多样性。我们在三个知名数据集上进行了实验,结果表明,Kinetic-GAN在分布质量指标方面显著超越了现有方法,并且能够合成的动作数量超过了一个数量级。我们的代码和模型已公开发布在 https://github.com/DegardinBruno/Kinetic-GAN。

代码仓库

degardinbruno/kinetic-gan
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
human-action-generation-on-human3-6mKinetic-GAN
MMDa: 0.071
MMDs: 0.082
human-action-generation-on-ntu-rgb-dKinetic-GAN
FID (CS): 3.618
FID (CV): 4.235
human-action-generation-on-ntu-rgb-d-120Kinetic-GAN
FID (CS): 5.967
FID (CV): 6.751
human-action-generation-on-ntu-rgb-d-2dKinetic-GAN
MMDa (CS): 0.256
MMDa (CV): 0.295
MMDs (CS): 0.273
MMDs (CV): 0.310

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
生成对抗图卷积网络用于人类动作合成 | 论文 | HyperAI超神经