3 个月前

基于图结构的多视角图像三维多人姿态估计

基于图结构的多视角图像三维多人姿态估计

摘要

本文研究了从多个标定相机视角中估计多人三维人体姿态的任务。遵循自顶向下的范式,我们将该任务分解为两个阶段:人体定位与姿态估计,两个阶段均采用由粗到精的处理方式。为此,我们提出了三种针对特定任务的图神经网络,以实现高效的特征信息传递。在三维人体定位阶段,首先利用多视角匹配图模块(Multi-view Matching Graph Module, MMG)学习跨视角关联,恢复初步的人体候选区域;随后,中心精修图模块(Center Refinement Graph Module, CRG)通过灵活的基于点的预测进一步优化定位结果。在三维姿态估计阶段,姿态回归图模块(Pose Regression Graph Module, PRG)同时学习多视角几何关系以及人体关节间的结构关联。所提出的方法在CMU Panoptic和Shelf数据集上均取得了当前最优的性能表现,且计算复杂度显著降低。

代码仓库

wusize/multiview_pose
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-multi-person-pose-estimation-on-cmuPRGN
Average MPJPE (mm): 15.68
3d-multi-person-pose-estimation-on-shelfPRGN
PCP3D: 97.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于图结构的多视角图像三维多人姿态估计 | 论文 | HyperAI超神经