摘要

当前的伴随言语动作生成方法通常仅关注上身手势与言语内容的匹配，而缺乏基于文本提示对协同全身动作进行精细控制的支持，例如边走路边说话。主要挑战在于：1）现有的言语到动作数据集仅涉及非常有限的全身动作，导致许多常见的人类活动不在训练分布范围内；2）这些数据集也缺乏标注的用户提示。为了解决这些挑战，我们提出了SynTalker，该方法利用现成的文本到动作数据集作为补充，以填补缺失的全身动作和提示。核心的技术贡献包括两个方面。一方面，通过多阶段训练过程，在言语到动作数据集和文本到动作数据集之间存在显著的动作分布差异的情况下，获得了一个运动、言语和提示对齐的嵌入空间。另一方面，基于扩散模型的条件推理过程采用了分离再结合（separate-then-combine）策略，实现了对局部身体部位的细粒度控制。我们进行了大量实验，验证了我们的方法能够支持基于言语和用户提示的精确且灵活的协同全身动作生成，这超出了现有方法的能力范围。