3 个月前

随着音乐起舞

随着音乐起舞

摘要

人类随音乐起舞是一种本能行为。然而,学习建模音乐到舞蹈的生成过程却是一个极具挑战性的问题。这需要投入大量精力来度量音乐与舞蹈之间的关联性,因为必须同时考虑音乐与舞蹈在风格、节奏等多个方面的复杂对应关系。此外,舞蹈本身具有固有的多模态特性,即在任意时刻,身体姿态的后续动作存在多种可能性,且均具有同等合理性。针对这一问题,本文提出一种“分析-合成”协同学习框架,用于从音乐生成舞蹈。在分析阶段,模型将舞蹈分解为一系列基本舞蹈单元,从而学习动作的生成规律;在合成阶段,模型根据输入音乐,将多个基本舞蹈动作无缝衔接,实现舞蹈的组合与生成。实验的定性与定量结果表明,所提出的方法能够生成逼真、多样、风格一致且与音乐节拍高度匹配的舞蹈序列。

代码仓库

NVlabs/Dance2Music
官方
pytorch
GitHub 中提及
nvlabs/dancing2music
pytorch
GitHub 中提及

基准测试

基准方法指标
motion-synthesis-on-braceDancing 2 Music
Beat DTW cost: 11.60
Beat alignment score: 0.129
Footwork average: 50.09
Frechet Inception Distance: 0.5884
Powermove average: 33.87
Toprock average: 16.04

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
随着音乐起舞 | 论文 | HyperAI超神经