摘要

我们提出了一种基于动态图的空间-时间注意力（Dynamic Graph-Based Spatial-Temporal Attention, DG-STA）方法用于手势识别。该方法的核心思想是从手部骨架构建一个全连接图，然后通过在空间域和时间域同时运行的自注意力机制自动学习节点特征和边。为进一步提高在复杂条件下的识别鲁棒性，我们还提出了利用关节位置的空间-时间线索。此外，引入了一种新颖的空间-时间掩码，可显著降低计算成本，最高可达99%。我们在基准数据集（DHG-14/28 和 SHREC'17）上进行了广泛的实验，并证明了我们的方法相比现有最先进方法具有优越的性能。源代码可在 https://github.com/yuxiaochen1103/DG-STA 获取。