摘要

本文聚焦于人机交互背景下的动态手势识别问题。我们提出一种由两个子网络组成的模型，分别为基于Transformer的网络和基于有序神经元长短期记忆（ON-LSTM）的循环神经网络（RNN）。两个子网络均仅利用骨骼关节点信息进行手势识别任务的训练。由于网络结构差异，各子网络能够提取不同类型的特征，从而实现知识共享。通过知识蒸馏机制，将两个子网络的特征表示及预测结果融合，构建一个新的融合分类器。此外，引入循环学习率策略生成一系列模型，并通过集成方法进行组合，以提升模型的泛化能力。实验结果表明，所提出的知识共享模型集成方法在仅使用骨骼信息的情况下，于Dynamic Hand Gesture-14/28数据集上取得了86.11%的整体识别准确率。