摘要

通过从视觉内容中推断抽象的姿态和形状参数来恢复全身网格，可以获得具有真实结构的3D人体模型。然而，推断过程高度非线性，并且存在图像与网格对齐不良的问题，导致重建结果不准确。相比之下，3D关键点估计方法利用体积表示来实现像素级精度，但可能会预测出不真实的体态结构。为了解决这些问题，本文提出了一种新颖的混合逆向运动学解决方案——HybrIK，该方案在一个统一的框架中整合了3D关键点估计和身体网格恢复的优点。HybrIK通过扭转-摆动分解直接将精确的3D关节转换为身体部位旋转。摆动旋转通过解析方法根据3D关节求解，而扭转旋转则通过神经网络从视觉线索中导出。为了捕捉全面的全身细节，我们进一步开发了一个整体框架——HybrIK-X，该框架在HybrIK的基础上增加了可活动的手部和富有表现力的脸部。HybrIK-X通过一个单阶段模型解决全身姿态问题，实现了快速而准确的效果。实验表明，HybrIK和HybrIK-X不仅保留了3D关节的准确性，还保持了参数化人体模型的真实结构，从而实现了像素对齐的全身网格恢复。所提出的方法在各种基准测试中显著超越了现有方法，在仅涉及身体、仅涉及手部以及全身场景下均表现出色。代码和结果可在 https://jeffli.site/HybrIK-X/ 获取。