摘要

全身网格恢复旨在从单张图像中估计人体、面部和手部的3D参数。由于分辨率问题，即面部和手部通常位于极小的区域，使用单一网络完成这一任务具有挑战性。现有的方法通常先检测手部和面部，放大其分辨率以输入特定网络进行参数预测，最后融合结果。虽然这种复制粘贴的流程可以捕捉到面部和手部的细粒度细节，但在后期融合时难以恢复不同部分之间的连接，导致不合理的3D旋转和不自然的姿态。在本工作中，我们提出了一种用于表现性全身网格恢复的一阶段流程，命名为OSX，无需为每个部分单独设置网络。具体而言，我们设计了一个组件感知变压器（Component Aware Transformer, CAT），由全局身体编码器和局部面部/手部解码器组成。编码器预测身体参数并为解码器提供高质量的特征图；解码器通过特征级上采样-裁剪方案提取高分辨率的部分特定特征，并采用关键点引导的可变形注意力机制来精确估计手部和面部。整个流程简单而有效，无需任何手动后处理，并自然避免了不合理预测。全面的实验验证了OSX的有效性。最后，我们构建了一个大规模的上半身数据集（Upper-Body dataset, UBody），包含高质量的2D和3D全身注释。该数据集涵盖了在各种现实场景中部分可见的身体部位的人体，以弥合基本任务与下游应用之间的差距。