摘要

我们提出了一种从多视角图像和附着在人体四肢上的少数惯性测量单元（IMUs）中估计三维人体姿态的方法。该方法首先从两种信号中检测二维姿态，然后将其提升到三维空间。我们介绍了一种几何方法，通过IMUs增强每对关节的视觉特征。这显著提高了二维姿态估计的准确性，尤其是在某个关节被遮挡的情况下。我们将这种方法称为定向正则化网络（Orientation Regularized Network, ORN）。接下来，我们通过定向正则化图像结构模型（Orientation Regularized Pictorial Structure Model, ORPSM）将多视角二维姿态提升到三维空间，该模型同时最小化三维与二维姿态之间的投影误差以及三维姿态与IMU方向之间的差异。这一简单的两步方法在公开数据集上大幅减少了现有最先进方法的误差。我们的代码将在https://github.com/CHUNYUWANG/imu-human-pose-pytorch 上发布。