
摘要
本文提出了一种在无约束视频中对多人进行关节跟踪的方法。我们的起点是一个类似于现有单帧姿态估计架构的模型,但其速度显著提升。我们通过两种方式实现这一目标:(1) 简化和稀疏化身体部位关系图,并利用近期提出的快速推理方法;(2) 将大量计算任务转移到前馈卷积架构上,该架构即使在杂乱环境中也能检测并关联同一个人的身体关节。我们使用该模型生成身体关节位置的候选点,并将关节跟踪问题表述为这些候选点的空间-时间分组。这使得可以通过时间传播强检测结果来同时解决场景中所有人的关联问题,并强制每个候选点只能分配给一个人的约束条件。我们在公开的 MPII 人体姿态基准数据集和新的 MPII 视频姿态数据集(包含多个人的图像序列)上报告了实验结果。我们展示了所提出的模型不仅在时间消耗上大幅减少,而且能够利用时间信息在拥挤场景中提高现有技术水平。
代码仓库
PJunhyuk/exercise-pose-analyzer
tf
GitHub 中提及
ayeshathanawalla/DeepLabCut
tf
GitHub 中提及
janbertelngo/count-people
tf
GitHub 中提及
estelabalboa/Proyecto_Final_Pilates
tf
GitHub 中提及
eldar/pose-tensorflow
tf
GitHub 中提及
PJunhyuk/people-counting-pose
tf
GitHub 中提及
yangyucheng000/ArtTrack
mindspore
ZJX9999/art_track
mindspore
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| keypoint-detection-on-mpii-multi-person | Articulated Tracking | mAP@0.5: 74.3% |
| multi-person-pose-estimation-on-mpii-multi | Articulated Tracking | AP: 74.3% |