3 个月前

Music2Dance:面向音乐驱动舞蹈生成的DanceNet

Music2Dance:面向音乐驱动舞蹈生成的DanceNet

摘要

从音乐生成人类动作,即“音乐到舞蹈”的转换,近年来吸引了大量研究关注,具有重要的吸引力。这一任务具有挑战性,不仅因为舞蹈动作需要具备高度真实性和复杂性,更关键的是,生成的动作必须与音乐的风格、节奏和旋律保持一致。本文提出一种新颖的自回归生成模型——DanceNet,该模型将音乐的风格、节奏和旋律作为控制信号,生成具有高真实感与多样性的三维舞蹈动作。为提升所提模型的性能,我们邀请专业舞者采集了多组同步的音乐-舞蹈数据对,并构建了一个高质量的音乐-舞蹈配对数据集。实验结果表明,所提出的方法在生成效果上达到了当前最先进的水平。

基准测试

基准方法指标
motion-synthesis-on-aistDanceNet
Beat alignment score: 0.143
FID: 69.13

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
Music2Dance:面向音乐驱动舞蹈生成的DanceNet | 论文 | HyperAI超神经