摘要

我们开发了一种鲁棒的多尺度结构感知神经网络，用于人体姿态估计。该方法在近期的深度卷积-反卷积沙漏模型基础上进行了四项关键改进：（1）多尺度监督，通过跨尺度融合特征热图来加强上下文特征学习，以匹配身体关键点；（2）在末尾添加多尺度回归网络，全局优化多尺度特征的结构匹配；（3）中间监督和回归过程中使用的结构感知损失，提高关键点及其邻近点的匹配精度，从而推断出更高阶的匹配配置；（4）一种关键点掩码训练方案，能够有效微调我们的网络，通过相邻匹配来稳健地定位被遮挡的关键点。我们的方法可以显著改善现有最先进的姿态估计方法在处理不同尺度、遮挡和复杂多人场景时遇到的困难。这种多尺度监督与回归网络紧密集成，能够有效地（i）利用多尺度特征集合来定位关键点，并（ii）通过最大化多个关键点和尺度之间的结构一致性来推断全局姿态配置。关键点掩码训练进一步增强了这些优势，使学习过程更加专注于难以处理的遮挡样本。我们的方法在MPII挑战赛排行榜上处于领先地位，超越了其他最先进的方法。