摘要

手部姿态在以用户为中心的视角中表示了关键信息，尤其是在用户与物体互动时。我们提出了一种仅基于RGB图像的手部姿态估计方法，通过使用伪深度图像来提高以用户为中心的3D手部姿态估计的准确性。结合最先进的单RGB图像深度估计技术，我们生成了帧的伪深度表示，并利用距离信息来分割场景中的无关部分。生成的深度图随后被用作RGB帧的分割掩模。在H2O数据集上的实验结果证实了我们的方法在动作识别任务中对手部姿态估计的高度准确性。3D手部姿态与物体检测信息一起，由基于变压器的动作识别网络进行处理，最终实现了91.73%的准确率，超过了所有现有的最先进方法。该方法在3D手部姿态估计方面表现出与现有方法相当的性能，平均姿态误差为28.66毫米。这一方法为在不依赖深度传感器的情况下利用距离信息进行以用户为中心的3D手部姿态估计开辟了新的可能性。