摘要

我们提出了一种鲁棒且精确的方法，用于从单张彩色图像中估计两只手在近距离互动时的三维姿态。这是一个极具挑战性的问题，因为可能会出现大面积遮挡以及关节之间的混淆。现有的最先进方法通过为每个关节回归一个热图来解决这一问题，这需要同时解决两个任务：定位关节和识别关节。在这项工作中，我们建议将这些任务分开处理，首先利用卷积神经网络（CNN）将关节定位为二维关键点，然后利用这些关键点处的CNN特征之间的自注意力机制将其与相应的手部关节关联起来。我们称这种架构为“关键点变换器”（Keypoint Transformer），它具有很高的效率，因为在InterHand2.6M数据集上，该模型仅用大约一半的参数数量就达到了最先进水平。此外，我们还展示了该方法可以轻松扩展以高精度估计一只或两只手操纵物体时的三维姿态。为了进一步推动研究，我们创建了一个包含超过75,000张双手操纵物体的图像的新数据集，并对这些图像进行了完整的三维注释，该数据集将公开发布。