摘要

本文专注于利用深度神经网络从单目图像中进行3D人体姿态估计的结构化输出学习。我们的网络以图像和3D姿态作为输入，输出一个评分值，当图像与姿态匹配时该值较高，反之则较低。网络结构包括用于图像特征提取的卷积神经网络，随后是两个子网络，分别将图像特征和姿态转换为联合嵌入。评分函数则是图像嵌入与姿态嵌入之间的点积。图像-姿态联合嵌入和评分函数通过最大间隔代价函数进行联合训练。我们提出的框架可以被解释为一种特殊的结构化支持向量机，其中联合特征空间是通过深度神经网络判别性地学习得到的。我们在Human3.6M数据集上测试了该框架，并取得了与其他最近方法相比最先进的结果。最后，我们展示了图像-姿态嵌入空间的可视化结果，证明网络已经学会了高层次的身体方向和姿态配置的嵌入表示。