3 个月前

音乐驱动的群体编舞

音乐驱动的群体编舞

摘要

基于音乐的群舞编排是一项具有广泛工业应用前景的复杂挑战。近年来,已有诸多方法被提出,用于从音乐中为单个舞者合成舞蹈动作。然而,如何生成群体舞蹈动作仍是一个开放性问题。本文提出 $\rm AIOZ-GDANCE$,一个面向音乐驱动群舞生成的大规模新数据集。与现有仅支持单人舞蹈的数据集不同,本数据集包含群舞视频,从而为群舞编排研究提供了支持。我们设计了一种半自动标注方法,通过人机协同的方式获取数据集的三维真实动作标注。该数据集包含16.7小时的音乐与三维动作配对数据,涵盖7种舞蹈风格和16种音乐类型,均来源于真实场景(in-the-wild)视频。我们发现,简单地将单人舞蹈生成技术直接应用于群舞生成,可能导致不一致的动作表现以及舞者之间的碰撞等不良结果。基于此新数据集,我们提出一种新方法,能够以输入的音乐序列和舞者三维位置作为条件,高效生成多组具有群体协调性的群舞编排方案。同时,我们设计了新的群舞质量评估指标,并通过大量实验验证了所提方法的有效性。本项目将为未来群舞生成领域的研究提供重要支持,项目主页及数据集资源可访问:https://aioz-ai.github.io/AIOZ-GDANCE/

代码仓库

aioz-ai/AIOZ-GDANCE
官方
pytorch

基准测试

基准方法指标
motion-synthesis-on-aioz-gdanceGDANCER
FID: 43.90
GMC: 79.01
GMR: 51.27
GenDiv: 9.23
MMC: 0.250
PFC: 3.05
TIF: 0.217

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
音乐驱动的群体编舞 | 论文 | HyperAI超神经