3 个月前

MoFusion:一种基于去噪扩散模型的动作生成框架

MoFusion:一种基于去噪扩散模型的动作生成框架

摘要

传统的动作生成方法要么是确定性的,要么难以在动作多样性与动作质量之间取得平衡。针对这些局限性,我们提出了MoFusion——一种基于去噪扩散机制的新框架,用于高质量的条件化人体动作合成。该框架能够根据多种条件上下文(如音乐、文本等)生成长度较长、时间上连贯且语义准确的动作序列。此外,我们通过提出一种分阶段加权策略,将广为人知的运动学损失引入扩散框架中,以增强动作的物理合理性。所学习到的隐空间可支持多种交互式动作编辑应用,例如动作插值、种子条件控制以及基于文本的编辑,从而为虚拟角色动画与机器人控制提供了关键能力。通过全面的定量评估以及感知用户研究,我们在文献中公认的基准上证明了MoFusion相较于现有最先进方法的优越性能。我们诚挚建议读者观看我们的补充视频,并访问项目主页:https://vcai.mpi-inf.mpg.de/projects/MoFusion。

基准测试

基准方法指标
motion-synthesis-on-aistMoFusion
Beat alignment score: 0.253
FID: 50.31

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
MoFusion:一种基于去噪扩散模型的动作生成框架 | 论文 | HyperAI超神经