摘要

近年来，基于扩散模型与自回归模型的文本到动作生成技术取得了显著进展，展现出良好的生成效果。然而，这些方法在实时性能、高保真度与动作可编辑性之间往往面临权衡难题。为解决这一挑战，本文提出一种新颖且简洁的动作生成范式——MMM（Masked Motion Model）。MMM由两个核心组件构成：（1）动作分词器（motion tokenizer），可将三维人体动作序列映射为潜在空间中的离散令牌序列；（2）条件化掩码动作Transformer，能够根据预先计算的文本令牌，学习预测被随机掩码的动作令牌。通过在所有方向上同时关注动作令牌与文本令牌，MMM显式建模了动作令牌之间的内在依赖关系，并捕捉了动作与文本之间的语义映射。在推理阶段，该机制支持对多个动作令牌进行并行且迭代式的解码，生成结果与细粒度文本描述高度一致，从而在保持高保真度的同时实现高速生成。此外，MMM具备天然的可编辑性：仅需在需要修改的位置插入掩码令牌，模型即可自动填补缺失内容，并保证编辑区域与非编辑区域之间过渡平滑自然。在HumanML3D与KIT-ML数据集上的大量实验表明，MMM在生成高质量动作方面显著优于当前主流方法（FID得分分别达到0.08和0.429），同时支持多种高级编辑功能，包括身体部位修改、动作插值以及长序列动作合成。值得注意的是，MMM在单张中端GPU上的运行速度比可编辑的动作扩散模型快两个数量级。项目主页详见：\url{https://exitudio.github.io/MMM-page}。