摘要

近期在从单摄像头图像和视频中进行3D人体姿态估计的研究进展主要依赖于参数化模型，如SMPL。然而，这些模型对解剖结构进行了过度简化，限制了其在捕捉真实关节位置和运动方面的准确性，从而降低了它们在生物力学、医疗保健和机器人领域的应用价值。相比之下，生物力学上准确的姿态估计通常需要昂贵的基于标记的运动捕捉系统和专业实验室中的优化技术。为了弥合这一差距，我们提出了一种新的基于学习的框架——BioPose，该框架可以直接从单目视频中预测生物力学上准确的3D人体姿态。BioPose 包含三个关键组件：多查询人体网格恢复模型（MQ-HMR）、神经逆向运动学模型（NeurIK）以及2D信息引导的姿态细化技术。MQ-HMR 利用多查询可变形变换器提取多尺度细粒度图像特征，实现精确的人体网格恢复。NeurIK 将网格顶点视为虚拟标记，应用时空网络在解剖学约束下回归生物力学上准确的3D姿态。为了进一步提高3D姿态估计的精度，2D信息引导的细化步骤通过将3D结构与2D姿态观察结果对齐来优化推理过程中的查询令牌。基准数据集上的实验表明，BioPose 显著优于现有最先进方法。项目网站：https://m-usamasaleem.github.io/publication/BioPose/BioPose.html