摘要
我们研究了在深度学习框架下开发一种紧凑且准确的手势识别模型的问题。为此，我们提出了一种端到端可训练的联合3D卷积神经网络（3DCNN）-长短期记忆网络（LSTM）模型，该模型被证明更适合捕捉动作中的动态信息。该解决方案在ChaLearn数据集上达到了接近最先进水平的准确性，而模型大小仅为初始模型的一半。此外，我们还探讨了在知识蒸馏框架下进一步压缩模型以获得更加紧凑表示的方法。最终模型的大小不到1 MB，仅为初始模型的百分之一左右，准确率下降了7%，但适用于移动设备上的实时手势识别。
代码仓库
chriswegmann/drone_steering
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| gesture-recognition-on-chalearn-2014 | 3D-CNN + LSTM | Accuracy: 93.2 |