摘要

我们提出 DiverseMotion，一种新型的人体动作生成方法，能够在文本描述的条件下合成高质量且保持动作多样性的运动序列。尽管近年来基于文本的人体动作生成取得了显著进展，现有方法往往过度关注对训练数据中动作的拟合，而忽视了动作多样性的保持，导致在动作质量与多样性之间难以取得平衡。这一挑战主要由两个关键因素加剧：其一，现有基准数据集中动作-描述对的多样性不足；其二，对文本提示的语义理解存在单向性和偏差，主要聚焦于动词成分，而忽略了其他词语所传达的细微语义差异。针对第一个问题，我们构建了一个大规模的野生动作-描述数据集（Wild Motion-Caption, WMC），以扩展现有高质量标注数据集的动作边界限制，从而通过更广泛的动作类型促进多样动作的学习。为此，我们在预训练的视觉-语言模型基础上训练了一个动作BLIP模型，并自动为采集的动作序列生成多样化的动作描述。最终，我们构建了一个包含8,888个动作序列与141,000条文本描述的数据集。为实现对文本指令的全面语义理解，我们提出一种分层语义聚合（Hierarchical Semantic Aggregation, HSA）模块，以捕捉细粒度的语义信息。最后，我们将上述两项设计整合进一个高效的运动离散扩散（Motion Discrete Diffusion, MDD）框架中，有效平衡了动作质量与多样性。在HumanML3D和KIT-ML数据集上的大量实验表明，DiverseMotion在动作质量方面达到了当前最优水平，并在动作多样性方面展现出具有竞争力的表现。我们将公开数据集、代码及预训练模型，以确保所有实验结果可复现。