
摘要
我们提出Lodge,一种能够根据给定音乐生成极长舞蹈序列的神经网络。Lodge采用两阶段的粗到细扩散架构,并引入具有显著表现力的特征舞蹈基元(characteristic dance primitives),作为两个扩散模型之间的中间表征。第一阶段为全局扩散,旨在理解音乐与舞蹈之间的粗粒度关联,并生成具有代表性的舞蹈基元;第二阶段为局部扩散,基于生成的舞蹈基元与编舞规则,平行地生成细节丰富的运动序列。此外,我们设计了足部精修模块(Foot Refine Block),用于优化足部与地面的接触关系,从而提升动作的物理真实感。所提方法能够并行生成极长长度的舞蹈序列,在全局编舞模式与局部运动质量及表现力之间取得良好平衡。大量实验验证了该方法的有效性。
代码仓库
li-ronghui/LODGE
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| motion-synthesis-on-aist | Lodge (DDPM) | Beat alignment score: 0.24 FID: 37.09 |
| motion-synthesis-on-finedance | Lodge (DDPM) | BAS: 0.2397 fid_k: 45.56 |
| motion-synthesis-on-finedance | Lodge (DDIM) | BAS: 0.2269 fid_k: 50.00 |