摘要

尽管预训练大型语言模型的发展不断推进，但构建一个统一的多模态数据（如动作）与语言模型仍然面临挑战，尚未得到充分探索。幸运的是，人类动作表现出类似于人类语言的语义耦合，通常被视为一种身体语言。通过将语言数据与大规模动作模型融合，可以实现增强动作相关任务性能的动作-语言预训练。基于这一见解，我们提出了MotionGPT，这是一种统一、多功能且用户友好的动作-语言模型，旨在处理多种与动作相关的任务。具体而言，我们采用了离散向量量化方法对人类动作进行处理，并将3D动作转换为动作标记（motion tokens），类似于生成词标记的过程。在此“动作词汇表”的基础上，我们以统一的方式对动作和文本进行语言建模，将人类动作视为一种特定的语言。此外，受提示学习的启发，我们在混合的动作-语言数据上预训练MotionGPT，并在基于提示的问答任务上对其进行微调。大量实验表明，MotionGPT在多个动作任务中取得了最先进的性能，包括文本驱动的动作生成、动作描述、动作预测和中间帧生成（motion in-between）。