3 个月前

基于对比扩散的可控群体编排

基于对比扩散的可控群体编排

摘要

基于音乐的群舞编排是一项极具挑战性但具有广泛工业应用潜力的任务。能够生成与音乐高度同步且视觉上富有吸引力的群舞动作,为娱乐、广告及虚拟表演等多个领域开辟了新的可能性。然而,当前大多数相关研究在生成高保真、长期的群舞动作方面仍存在局限,或难以实现可控的创作体验。针对这一需求,本文致力于实现高质量、可定制的群舞动作生成,通过有效调控群舞编排的一致性与多样性,提升生成效果。具体而言,我们采用基于扩散模型的生成方法,实现对舞者数量的灵活控制以及长时间群舞动作的合成,同时确保动作与输入音乐保持高度协调。在此基础上,我们提出一种群组对比扩散(Group Contrastive Diffusion, GCD)策略,强化舞者与其群体之间的关联性,并通过分类器引导采样技术,实现对合成群舞动画一致性和多样性的灵活调控。通过大量实验与评估,我们验证了该方法在生成视觉上引人入胜且高度一致的群舞动作方面的有效性。实验结果表明,所提方法能够精准实现预期的一致性与多样性水平,同时保持整体群舞编排的高质量。相关源代码可访问:https://aioz-ai.github.io/GCD

代码仓库

aioz-ai/GCD
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
motion-synthesis-on-aioz-gdanceGCD
FID: 31.16
GMC: 80.97
GMR: 31.47
GenDiv: 10.87
MMC: 0.261
PFC: 2.53
TIF: 0.167

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于对比扩散的可控群体编排 | 论文 | HyperAI超神经