
摘要
本文介绍了一种基于校准多视图的多人3D姿态估计与跟踪方法。主要挑战在于即使在多个姿态估计存在噪声的情况下,仍能正确找到跨视图和时间上的对应关系。与以往从多个视角构建3D姿态的方法相比,我们的方法利用了时间一致性,在每个视角中将估计的2D姿态与之前构建的3D骨架进行匹配。因此,跨视图和时间上的关联可以同时完成。由于错误的关联和噪声预测会影响性能,我们设计了两种策略以提高对应关系和3D重建的质量。具体而言,我们提出了一种基于部位感知的2D-3D关联度量方法(part-aware measurement),以及一种能够在重建过程中处理2D异常值的滤波器(filter)。我们的方法在效率和效果上均优于现有最先进的方法;在两个基准测试集上取得了具有竞争力的结果:Campus数据集上的准确率为96.8%,Shelf数据集上的准确率为97.4%。此外,我们将Campus数据集的评估帧数延长以增加难度,我们的方法仍然表现良好。
代码仓库
ivclab/Part-Aware_Measurement_for_3D_Pose_Estimation_and_Tracking
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-multi-person-pose-estimation-on-campus | Part-aware Pose | PCP3D: 96.79 |
| 3d-multi-person-pose-estimation-on-shelf | Part-aware Pose | PCP3D: 97.39 |