摘要

我们提出了一种名为EMAGE的框架，用于从音频和部分遮掩的手势生成全身人类动作，涵盖面部、局部身体、手部和整体运动。为了实现这一目标，我们首先介绍了BEAT2（BEAT-SMPLX-FLAME），这是一个新的网格级别的综合共言语数据集。BEAT2结合了MoShed SMPL-X身体模型和FLAME头部参数，并进一步优化了头部、颈部和手指运动的建模，提供了一个社区标准化的高质量3D动作捕捉数据集。EMAGE在训练过程中利用部分遮掩的身体手势先验来提升推理性能。它包含一个遮掩音频手势变换器（Masked Audio Gesture Transformer），支持音频到手势生成和部分遮掩手势重建的联合训练，从而有效编码音频和身体手势提示。随后，从部分遮掩手势中编码出的身体提示分别用于生成面部和身体运动。此外，EMAGE自适应地融合了来自音频节奏和内容的语音特征，并利用四个组合式VQ-VAE模型来提高结果的真实性和多样性。实验表明，EMAGE能够以最先进的性能生成综合手势，并且灵活接受预定义的空间-时间手势输入，生成完整的、与音频同步的结果。我们的代码和数据集可在以下网址获取：https://pantomatrix.github.io/EMAGE/