摘要

许多基于图像的感知任务可以表述为检测、关联和跟踪语义关键点，例如人体姿态估计和跟踪。在本研究中，我们提出了一种通用框架，该框架能够在单个阶段内同时检测并形成时空关键点关联，从而成为首个实时姿态检测和跟踪算法。我们介绍了一种通用的神经网络架构，该架构利用复合场（Composite Fields）来检测并构建一个时空姿态图，这是一个单一的连通图，其节点为多个帧中的语义关键点（例如人的身体关节）。对于时间关联部分，我们引入了时间复合关联场（Temporal Composite Association Field, TCAF），这需要扩展之前的复合场网络架构和训练方法。实验结果表明，我们的方法在多个公开数据集上（如COCO、CrowdPose以及PoseTrack 2017和2018数据集）具有竞争力的精度，并且速度提高了近一个数量级。此外，我们还展示了该方法可以推广到任何类别的语义关键点，如汽车部件和动物部位，从而提供一个适用于城市移动场景（如自动驾驶汽车和送货机器人）的整体感知框架。