摘要

动态手势识别是计算机视觉领域中一项关键但极具挑战性的任务。该任务的核心在于有效提取具有区分性的时空特征，以建模不同手势的演化过程。本文提出了一种基于骨架信息的端到端时空注意力残差时序卷积网络（Spatial-Temporal Attention Residual Temporal Convolutional Network, STA-Res-TCN），该网络能够在每个时间步上，对卷积滤波器所提取的各类时空特征自适应地学习不同层次的注意力机制，并为其分配相应的注意力权重。所提出的注意力分支有助于网络聚焦于具有信息量的时间片段与特征，同时抑制无关信息带来的冗余噪声。此外，所提出的STA-Res-TCN模型结构轻量化，具备极快的训练与测试速度。在DHG-14/28数据集和SHREC’17 Track数据集上的实验结果表明，STA-Res-TCN在14类手势与更复杂的28类手势识别任务中，均显著优于现有最先进方法。