4 个月前

MotionPCM:基于相位一致性模型的实时动作合成

MotionPCM:基于相位一致性模型的实时动作合成

摘要

扩散模型因其强大的生成能力已成为人类动作合成的热门选择。然而,其高计算复杂度和大量的采样步骤对实时应用构成了挑战。幸运的是,一致性模型(Consistency Model, CM)提供了一种解决方案,可以将采样步骤从数百次大幅减少到几次,通常少于四次,显著加速了扩散模型的合成过程。然而,将CM应用于基于文本条件的人类动作在潜在空间中的合成时,生成结果不尽如人意。在本文中,我们介绍了一种分阶段的一致性模型方法——MotionPCM,旨在提高潜在空间中实时动作合成的质量和效率。我们在HumanML3D数据集上的实验结果显示,该模型在单次采样步骤中实现了超过30帧每秒的实时推理速度,并且在FID指标上比之前的最先进方法提高了38.9%。代码将公开以供复现。

基准测试

基准方法指标
motion-synthesis-on-humanml3dMotionPCM
Diversity: 9.575
FID: 0.030
Multimodality: 1.714
R Precision Top3: 0.842
motion-synthesis-on-kit-motion-languageMotionPCM
Diversity: 10.827
FID: 0.294
Multimodality: 1.254
R Precision Top3: 0.787

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
MotionPCM:基于相位一致性模型的实时动作合成 | 论文 | HyperAI超神经