摘要

针对深度图像中的三维手部和身体姿态估计任务，提出了一种基于锚点的新方法——Anchor-to-Joint回归网络（A2J），该网络具有端到端的学习能力。在A2J中，锚点密集地设置在深度图像上，作为关节的局部回归器，能够捕捉全局-局部的空间上下文信息。这些锚点以集成的方式预测关节的位置，从而增强模型的泛化能力。所提出的三维姿态估计范式与现有的基于编码器-解码器的全卷积网络（FCN）、3D卷积神经网络（3D CNN）和基于点集的方法有所不同。为了发现对特定关节有信息量的锚点，还提出了A2J的锚点生成过程。同时，使用2D卷积神经网络（即ResNet-50）作为骨干网络来驱动A2J，而无需使用耗时的3D卷积或反卷积层。实验结果表明，在三个手部数据集和两个身体数据集上，A2J表现出优越性。此外，A2J在单个NVIDIA 1080Ti GPU上的运行速度约为100帧每秒（FPS）。