4 个月前

基于动作条件的按需运动生成

基于动作条件的按需运动生成

摘要

我们提出了一种新颖的框架——按需运动生成(On-Demand Motion Generation, ODMO),用于仅基于动作类型生成真实且多样的长期3D人体运动序列,并具备额外的定制能力。在三个公开数据集(HumanAct12、UESTC和MoCap)上进行评估时,ODMO在所有传统的运动评价指标上均优于现有最佳方法(SOTA)。此外,我们提供了定性和定量的评估结果,展示了该框架所赋予的若干首次实现的定制能力,包括模式发现、插值和轨迹定制。这些能力显著拓宽了此类运动生成模型的应用范围。ODMO的按需生成能力得益于编码器和解码器架构上的创新:(i) 编码器:利用低维潜在空间中的对比学习创建层次化的运动序列嵌入,不仅不同动作类型的代码形成不同的组别,而且在同一动作类型内,具有相似内在模式(运动风格)的代码聚类在一起,便于发现;(ii) 解码器:采用层次化解码策略,首先重建运动轨迹,然后利用该轨迹重建整个运动序列。这种架构使得有效的轨迹控制成为可能。我们的代码已发布在GitHub页面上:https://github.com/roychowdhuryresearch/ODMO

代码仓库

基准测试

基准方法指标
human-action-generation-on-cmu-mocapODMO
Accuracy: 93.51
Diversity: 6.56
FID: 34
Multimodality: 2.49
human-action-generation-on-humanact12ODMO
Accuracy: 97.81
Diversity: 0.705
FID: 0.12
Multimodality: 2.57
human-action-generation-on-uestc-rgb-dODMO
Accuracy: 93.67
Diversity: 7.11
FID: 0.15
Test: 0.17

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于动作条件的按需运动生成 | 论文 | HyperAI超神经