3 个月前

GUESS:渐进式丰富合成用于文本驱动的人体运动生成

GUESS:渐进式丰富合成用于文本驱动的人体运动生成

摘要

本文提出了一种基于扩散模型的新型级联生成框架,用于文本驱动的人体运动合成,该框架采用了一种名为“渐进式丰富合成”(Gradually Enriching Synthesis,简称 GUESS)的策略。该策略通过将语义上相近的详细骨骼关节点进行分组,并将每一组关节点替换为单一的身体部位节点,从而实现对人体姿态的逐层抽象。这一过程在多个粒度层级上递归地将人体姿态简化为越来越粗粒度的骨架结构。随着抽象层级的逐步提升,生成的人体运动逐渐变得更加简洁且稳定,显著提升了跨模态运动合成任务的性能。整个文本驱动的人体运动合成问题被分解为多个抽象层级,并通过一个级联的潜在扩散模型构建的多阶段生成框架进行求解:首先,初始生成器根据给定的文本描述生成最粗粒度的人体运动初始猜测;随后,一系列连续的生成器基于文本描述及前序生成结果,逐步丰富运动细节。值得注意的是,本文进一步将 GUESS 策略与所提出的动态多条件融合机制相结合,以在不同生成阶段动态平衡文本条件与合成粗略运动提示之间的协同作用。在大规模数据集上的大量实验表明,GUESS 在准确性、真实感和多样性等方面均显著优于现有的最先进方法。相关代码已开源,地址为:https://github.com/Xuehao-Gao/GUESS。

代码仓库

xuehao-gao/guess
官方
pytorch

基准测试

基准方法指标
motion-synthesis-on-humanml3dGUESS
Diversity: 9.826
FID: 0.109
Multimodality: 2.430
R Precision Top3: 0.787
motion-synthesis-on-kit-motion-languageGUESS
Diversity: 10.933
FID: 0.371
Multimodality: 2.732
R Precision Top3: 0.751

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
GUESS:渐进式丰富合成用于文本驱动的人体运动生成 | 论文 | HyperAI超神经