摘要

我们提出了一种从安装在头戴式虚拟现实设备边缘的向下看的鱼眼相机捕获的单目图像中进行第一人称3D人体姿态估计的新方法。这种非同寻常的视角距离用户面部仅2厘米，导致图像具有独特的视觉特征，表现为严重的自遮挡和强烈的透视畸变，从而使得下身和上身之间的分辨率差异显著。我们的贡献有两方面。首先，我们提出了一种新的编码器-解码器架构，其中包含一个专门为应对2D关节位置变化不确定性而设计的双分支解码器。我们在合成数据集和真实世界数据集上的定量评估表明，我们的策略在准确性方面相比当前最先进的第一人称姿态估计方法有了显著提升。其次，我们创建了一个大规模逼真的合成数据集——xR-EgoPose，提供了383,000帧高质量的人体渲染图像，涵盖多种肤色、体型、服装，在各种背景和光照条件下执行一系列动作。实验结果表明，新合成训练语料库的高度多样性有助于良好的泛化到真实世界的视频，并在具有地面真值的真实世界数据集上取得了最先进的结果。此外，在Human3.6M基准测试中的评估显示，我们的方法在更为经典的第三人称视角下的3D人体姿态估计问题上表现与顶级方法相当。