
摘要
本文介绍了一种新颖的自下而上的多人姿态估计架构——MultiPoseNet,该架构结合了多任务模型和一种创新的分配方法。MultiPoseNet 能够同时处理人体检测、关键点检测、人体分割和姿态估计问题。这种创新的分配方法通过 Pose Residual Network(PRN)实现,PRN 接收关键点和人体检测结果,并通过将关键点分配给具体的人体实例来生成精确的姿态。在 COCO 关键点数据集上,我们的姿态估计方法在精度(比之前最佳结果高出 4 个 mAP 点)和速度方面均优于所有先前的自下而上方法;同时,其性能与最佳的自上而下方法相当,但至少快 4 倍。我们的方法是最快的实时系统,可达到每秒 23 帧的速度。源代码可在以下地址获取:https://github.com/mkocabas/pose-residual-network
代码仓库
danielperezr88/multiposenet-aries
tf
GitHub 中提及
eric-erki/pose-residual-network-pytorch
pytorch
GitHub 中提及
salihkaragoz/pose-residual-network-pytorch
pytorch
GitHub 中提及
SukhyunCho/NTU_motion_sim_annotations
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| keypoint-detection-on-coco | Pose Residual Network | Validation AP: 69.6 |
| multi-person-pose-estimation-on-coco | Pose Residual Network | AP: 0.697 |