摘要

本文提出了一种基于Transformer的新型手部姿态估计方法——DePOTR。我们在四个基准数据集上对DePOTR方法进行了测试，结果表明，DePOTR在性能上优于其他基于Transformer的方法，同时达到了与当前最先进方法相当的水平。为进一步验证DePOTR的优越性，我们提出了一种新颖的多阶段方法——MuTr，该方法直接从全场景深度图像中进行手部姿态估计。MuTr消除了手部姿态估计流程中对两个独立模型的依赖（一个用于手部定位，另一个用于姿态估计），同时仍能保持优异的性能表现。据我们所知，这是首个在标准设置与全场景图像设置下均成功采用相同模型架构，并在两种场景中均取得具有竞争力结果的尝试。在NYU数据集上，DePOTR与MuTr的估计精度分别达到7.85 mm和8.71 mm。