3 个月前

单目3D人体姿态估计中的超越弱透视方法

单目3D人体姿态估计中的超越弱透视方法

摘要

我们考虑从单目视频中预测三维关节位置与朝向的任务,并采用皮肤化多人体线性(SMPL)模型。首先,利用现成的姿态估计算法推断二维关节位置。随后,采用SPIN算法,通过一个深度回归神经网络估计人体姿态、形状以及相机参数的初始预测值。接着,我们采用SMPLify算法,以这些初始参数为输入,进行优化,使得SMPL模型所推导出的三维关节位置能够与二维关节检测结果相匹配。该算法包含将三维关节投影至二维图像平面的步骤。传统方法通常基于弱透视假设,并采用经验设定的焦距参数。通过在3D Poses in the Wild(3DPW)数据集上的实验,我们证明:采用完整的透视投影方法,结合正确的相机中心及近似焦距,能够获得更优的性能。基于该方法的算法在3DPW挑战赛中取得第一名,特别是在关节朝向预测精度方面表现突出。

基准测试

基准方法指标
3d-human-pose-estimation-on-3d-poses-in-theBeyondWeak
MPJAE: 19.69
MPJPE: 83.15
3d-human-pose-estimation-on-3dpwBeyondWeak
MPJPE: 83.2
PA-MPJPE: 59.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
单目3D人体姿态估计中的超越弱透视方法 | 论文 | HyperAI超神经