DingYiwei ; DengWenjin ; ZhengYinglin ; LiuPengfei ; WangMeihong ; ChengXuan ; BaoJianmin ; ChenDong ; ZengMing

摘要
在本文中,我们提出了用于多人姿态估计的内部和外部人体关系网络(I^2R-Net)。该网络包含两个基本模块。首先,内部人体关系模块针对单个人体,旨在捕捉内部人体依赖关系。其次,外部人体关系模块考虑多个实例之间的关系,专注于捕捉外部人体交互。通过降低特征图的分辨率,外部人体关系模块可以设计得非常轻量级,但仍能学习到有用的关系信息,显著提升内部人体关系模块的性能。即使没有复杂的附加功能,我们的方法也能与当前竞赛优胜者竞争或超越他们。我们在COCO、CrowdPose和OCHuman数据集上进行了广泛的实验。结果表明,所提出的模型超越了所有现有的最先进方法。具体而言,所提出的方法在CrowdPose数据集上达到了77.4%的AP,在OCHuman数据集上达到了67.8%的AP,大幅领先于现有方法。此外,消融研究和可视化分析也证明了我们模型的有效性。
代码仓库
leijue222/Intra-and-Inter-Human-Relation-Network-for-MPEE
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| multi-person-pose-estimation-on-crowdpose | I²R-Net (1st stage: HRFormer-B) | AP Easy: 83.8 AP Hard: 69.3 AP Medium: 78.1 mAP @0.5:0.95: 77.4 |
| multi-person-pose-estimation-on-ochuman | I²R-Net (1st stage:TransPose-H) | AP50: 85 AP75: 72.8 Validation AP: 67.8 |
| pose-estimation-on-coco | I²R-Net (1st stage:HRFormer-B) | AP: 77.3 AP50: 91 AP75: 83.6 APL: 84.5 APM: 73 AR: 82.1 |