3 个月前

Lodge:一种基于特征舞蹈基元引导的粗到细扩散网络用于长时舞蹈生成

Lodge:一种基于特征舞蹈基元引导的粗到细扩散网络用于长时舞蹈生成

摘要

我们提出Lodge,一种能够根据给定音乐生成极长舞蹈序列的神经网络。Lodge采用两阶段的粗到细扩散架构,并引入具有显著表现力的特征舞蹈基元(characteristic dance primitives),作为两个扩散模型之间的中间表征。第一阶段为全局扩散,旨在理解音乐与舞蹈之间的粗粒度关联,并生成具有代表性的舞蹈基元;第二阶段为局部扩散,基于生成的舞蹈基元与编舞规则,平行地生成细节丰富的运动序列。此外,我们设计了足部精修模块(Foot Refine Block),用于优化足部与地面的接触关系,从而提升动作的物理真实感。所提方法能够并行生成极长长度的舞蹈序列,在全局编舞模式与局部运动质量及表现力之间取得良好平衡。大量实验验证了该方法的有效性。

代码仓库

li-ronghui/LODGE
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
motion-synthesis-on-aistLodge (DDPM)
Beat alignment score: 0.24
FID: 37.09
motion-synthesis-on-finedanceLodge (DDPM)
BAS: 0.2397
fid_k: 45.56
motion-synthesis-on-finedanceLodge (DDIM)
BAS: 0.2269
fid_k: 50.00

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
Lodge:一种基于特征舞蹈基元引导的粗到细扩散网络用于长时舞蹈生成 | 论文 | HyperAI超神经