摘要

动态手势识别因其在人机交互中的重要作用而受到越来越多的关注。本文提出一种新颖的运动特征增强网络（Motion Feature Augmented Network, MFA-Net），用于基于骨骼数据的动态手势识别。MFA-Net通过融合手指运动特征与全局运动特征，对深度网络的特征表示进行增强，以提升手势识别性能。为刻画手指的关节运动，利用变分自编码器（Variational Autoencoder, VAE）从手部骨骼序列中提取手指运动特征；同时，采用全局运动特征来表征手部骨骼的整体运动模式。这些运动特征与原始骨骼序列共同输入到一个循环神经网络（Recurrent Neural Network, RNN）的三个分支中，从而增强RNN对运动信息的建模能力，进一步提升分类性能。所提出的MFA-Net在两个具有挑战性的基于骨骼的动态手势识别数据集——DHG-14/28数据集和SHREC’17数据集上进行了评估。实验结果表明，与当前先进方法相比，该方法在DHG-14/28数据集上取得了相当的识别性能，在SHREC’17数据集上则表现更优。