摘要

在本工作中，我们提出了一项具有挑战性的任务：在非约束视频中联合实现多人姿态估计与跟踪，且待检测的人数未知。现有的图像中多人姿态估计方法无法直接应用于该问题，因为除了需对每个人进行姿态估计外，还需解决跨时间维度的人体关联问题。为此，我们提出一种新颖的方法，将多人姿态估计与跟踪在统一的框架下进行联合建模。具体而言，我们通过时空图来表示视频中的肢体关节检测结果，并求解一个整数线性规划问题，将该图划分为若干子图，每个子图对应于某个人体的合理姿态轨迹。所提方法能够隐式处理人体遮挡与肢体截断问题。由于该问题在现有文献中尚未有定量研究，我们构建了一个具有挑战性的“多人姿态跟踪”（Multi-Person PoseTrack）数据集，并提出了一种完全非约束的评估协议，该协议不对人体尺度、大小、位置或人数做出任何假设。最后，我们在新构建的数据集上对所提方法及若干基线方法进行了全面评估。