手势识别是生物特征识别领域的一个具有挑战性的问题。本文将Fisher准则集成到双向长短期记忆（BLSTM）网络和双向门控循环单元（BGRU）中，从而提出了两种新的深度模型，分别命名为F-BLSTM和F-BGRU。这两种基于Fisher判别分析的深度模型能够有效分类手势，通过分析人体手势的加速度和角速度数据实现这一目标。此外，我们基于加速度和角速度数据收集了一个大型移动手势数据库（Mobile Gesture Database, MGD），该数据库包含12种手势的5547个序列。为了验证所提出的网络在MGD数据库以及两个基准数据库（即BUAA移动手势数据库和SmartWatch手势数据库）上的优越性能，进行了广泛的实验。实验结果表明，与现有的最先进的BLSTM和BGRU相比，所提出的网络具有显著的优势。