3 个月前

MotionMixer:基于MLP的3D人体姿态预测

MotionMixer:基于MLP的3D人体姿态预测

摘要

在本工作中,我们提出了一种名为MotionMixer的高效3D人体姿态预测模型,该模型仅基于多层感知机(MLP)构建。MotionMixer通过顺序混合时空模态,学习3D人体姿态的时空依赖关系。给定一个堆叠的3D人体姿态序列,空间MLP用于提取关节之间的细粒度空间依赖关系;随后,时间MLP建模关节在时间维度上的动态交互。最终,将融合后的时空特征进行聚合与解码,以预测未来的运动轨迹。为校准姿态序列中各时间步的影响权重,我们引入了挤压-激励(Squeeze-and-Excitation, SE)模块。我们在Human3.6M、AMASS和3DPW三个标准数据集上,采用通用的评估协议对方法进行了全面验证。实验结果表明,MotionMixer在各项指标上均达到当前最优性能,同时模型参数量显著更少。代码已开源,地址为:https://github.com/MotionMLP/MotionMixer

代码仓库

motionmlp/motionmixer
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
human-pose-forecasting-on-human36mMotionMixer
Average MPJPE (mm) @ 1000 ms: 111.0
Average MPJPE (mm) @ 400ms: 59.3
MAR, walking, 1,000ms: 0.73
MAR, walking, 400ms: 0.58

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
MotionMixer:基于MLP的3D人体姿态预测 | 论文 | HyperAI超神经