摘要

全身三维人体网格重建旨在同时恢复三维人体、双手及面部的几何结构。尽管已有多种方法被提出，但准确预测三维手部（包括三维腕关节和手指）仍面临挑战，主要原因有两个：其一，在预测三维腕关节时，现有方法未充分考虑人体运动学链的结构特性；其二，以往工作在预测三维手指姿态时依赖于人体整体特征，而这些特征中几乎不包含手指的细节信息。为克服上述局限，本文提出Hand4Whole，相较于以往方法具有两大优势。首先，我们设计了Pose2Pose模块，该模块利用关节特征来预测三维关节旋转。通过Pose2Pose，Hand4Whole引入手部掌指关节（MCP）的特征来预测三维腕关节，因为MCP关节在人体运动学链中对腕部三维旋转具有主导作用。其次，Hand4Whole在预测三维手指姿态时摒弃了人体整体特征，转而采用更专用于手指的特征表示，从而提升手指建模的精度。Hand4Whole采用端到端方式训练，其生成的三维手部结果显著优于现有的全身三维人体网格重建方法。相关代码已开源，可访问 https://github.com/mks0601/Hand4Whole_RELEASE 获取。