3 个月前

用于多样化人体运动预测的平滑姿态序列生成

用于多样化人体运动预测的平滑姿态序列生成

摘要

近年来,随机运动预测(stochastic motion prediction)——即根据单一的历史姿态序列预测多种可能的未来人体运动——取得了显著进展,已能够生成真正多样的未来运动,并实现对部分身体部位运动的可控性。然而,现有最先进方法需学习多个映射以实现多样性,同时还需专门设计的模型来支持可控运动预测,导致系统复杂度较高。本文提出一种统一的深度生成网络,用于同时实现多样性和可控性运动预测。基于“真实人体运动由一系列平滑且有效的姿态构成”这一直观认知,我们进一步认为:在数据有限的情况下,学习姿态先验(pose prior)比学习完整运动先验更为可行。据此,我们设计了一种分步预测不同身体部位运动的生成器,并引入基于归一化流(normalizing flow)的姿态先验模型,辅以联合角度损失(joint angle loss),以提升生成运动的真实性。在两个标准基准数据集Human3.6M和HumanEva-I上的实验结果表明,本方法在样本多样性与预测准确性方面均优于当前最先进基线方法。代码已开源,地址为:https://github.com/wei-mao-2019/gsps。

代码仓库

wei-mao-2019/gsps
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
human-pose-forecasting-on-amassGSPS
ADE: 0.563
APD: 12.465
FDE: 0.613
human-pose-forecasting-on-human36mGSPS
ADE: 389
APD: 14757
CMD: 10.758
FDE: 496
FID: 2.103
MMADE: 476
MMFDE: 525
human-pose-forecasting-on-humaneva-iGSPS
ADE@2000ms: 233
APD@2000ms: 5825
FDE@2000ms: 244

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于多样化人体运动预测的平滑姿态序列生成 | 论文 | HyperAI超神经