3 个月前

VoxelPose:面向野外环境中多摄像头的3D人体姿态估计

VoxelPose:面向野外环境中多摄像头的3D人体姿态估计

摘要

我们提出一种从多视角相机数据中估计多人三维姿态的方法。与以往依赖于噪声大且不完整的二维姿态估计结果建立跨视角对应关系的工作不同,本文提出一种端到端的解决方案,直接在三维空间中进行操作,从而避免在二维空间中做出错误判断。为实现这一目标,我们将所有相机视角的特征映射并聚合到一个统一的三维空间中,输入至立方体提议网络(Cuboid Proposal Network, CPN),以粗略定位所有人物。随后,我们提出姿态回归网络(Pose Regression Network, PRN),对每个提议区域估计出精细的三维姿态。该方法对实际场景中频繁发生的遮挡具有较强的鲁棒性。在不依赖复杂附加组件的情况下,该方法在公开数据集上的表现优于现有最先进方法。相关代码将发布于 https://github.com/microsoft/multiperson-pose-estimation-pytorch。

代码仓库

microsoft/voxelpose-pytorch
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-multi-person-pose-estimation-on-campusVoxelPose
PCP3D: 96.7
3d-multi-person-pose-estimation-on-cmuVoxelPose
Average MPJPE (mm): 17.68
3d-multi-person-pose-estimation-on-shelfVoxelPose
PCP3D: 97

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
VoxelPose:面向野外环境中多摄像头的3D人体姿态估计 | 论文 | HyperAI超神经