摘要

基于模型的三维姿态和形状估计方法通过估计多个参数来重建人体的完整三维网格。然而，学习这些抽象参数是一个高度非线性的过程，并且容易受到图像-模型对齐误差的影响，导致模型性能平庸。相比之下，三维关键点估计方法结合了深度卷积神经网络（CNN）和体素表示，以实现像素级定位精度，但可能会预测出不切实际的人体结构。在本文中，我们通过弥合人体网格估计与三维关键点估计之间的差距来解决上述问题。我们提出了一种新颖的混合逆运动学解决方案（HybrIK）。HybrIK 通过扭转-摆动分解直接将精确的三维关节转换为相对身体部位旋转，用于三维人体网格重建。摆动旋转可以通过三维关节解析求解，而扭转旋转则通过神经网络从视觉线索中推导得出。我们展示了 HybrIK 既保留了三维姿态的准确性，又保持了参数化人体模型的真实身体结构，从而实现了像素对齐的三维人体网格，并且比纯三维关键点估计方法具有更高的三维姿态准确性。无需复杂的附加技术，所提出的方法在各种三维人体姿态和形状基准测试中大幅超越了现有最先进方法。以一个示例说明，HybrIK 在 3DPW 数据集上的平均关节位置误差（MPJPE）和平均顶点误差（PVE）分别优于所有先前方法 13.2 毫米和 21.9 毫米。我们的代码可在 https://github.com/Jeff-sjtu/HybrIK 获取。