3 个月前

EDGE:基于音乐的可编辑舞蹈生成

EDGE:基于音乐的可编辑舞蹈生成

摘要

舞蹈作为一种重要的艺术形式,其创作过程往往复杂且耗时。本文提出了一种先进的可编辑舞蹈生成方法——可编辑舞蹈生成(Editable Dance GEneration, EDGE),该方法能够在忠实于输入音乐的前提下,生成逼真且符合物理规律的舞蹈动作。EDGE结合基于Transformer的扩散模型与Jukebox——一种强大的音乐特征提取器,具备强大的编辑能力,特别适用于舞蹈生成任务,包括关节级条件控制和动作补间(in-betweening)等。我们提出了一种新的物理合理性评估指标,并通过以下两个方面对所生成舞蹈的质量进行了全面评估:(1)在物理合理性、节拍对齐和多样性等多个定量指标上的测试;(2)大规模用户研究,结果表明,本方法在生成质量上显著优于以往的最先进方法。模型生成的定性样例可于我们的项目网站查看。

代码仓库

Stanford-TML/EDGE
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
motion-synthesis-on-aistEDGE (w=2)
Beat alignment score: 0.26
motion-synthesis-on-aistEDGE (w=1)
Beat alignment score: 0.27
motion-synthesis-on-finedanceEDGE
BAS: 0.2116
fid_k: 94.34

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
EDGE:基于音乐的可编辑舞蹈生成 | 论文 | HyperAI超神经