摘要

在本文中，我们提出了一种将卷积神经网络与多上下文注意力机制结合的方法，用于端到端的人体姿态估计框架。我们采用了堆叠的沙漏网络来从多个分辨率和不同语义的特征中生成注意力图。条件随机场（CRF）被用来建模注意力图中相邻区域之间的相关性。此外，我们将整体注意力模型（关注整个人体的全局一致性）和身体部位注意力模型（关注不同身体部位的详细描述）结合起来。因此，我们的模型具备了从局部显著区域到全局语义一致空间的不同粒度的关注能力。另外，我们设计了新颖的沙漏残差单元（Hourglass Residual Units, HRUs），以扩大网络的感受野。这些单元是残差单元的扩展，通过侧支引入具有更大感受野的滤波器，从而在HRUs内部学习并结合不同尺度的特征。我们在两个广泛使用的人体姿态估计基准数据集上评估了所提出的多上下文注意力机制和沙漏残差单元的有效性。实验结果表明，我们的方法在所有身体部位上均优于现有的所有方法。