摘要

人体活动与手势识别是快速发展的环境智能领域中的重要组成部分，尤其在辅助生活与智能家居系统中具有关键作用。本文提出将两种深度学习技术——卷积神经网络（Convolutional Neural Networks, CNN）与循环神经网络（Recurrent Neural Networks, RNN）——相结合，用于基于深度图像与骨骼数据的自动化手部手势识别。这两种数据类型均可独立用于训练神经网络以识别手部手势。尽管先前研究已表明，在仅依赖骨骼信息的情况下，RNN在识别单个骨骼关节运动序列方面表现优异，但本研究旨在引入深度数据，并利用CNN从深度图像中提取关键的空间特征信息。通过CNN与RNN的协同架构（CNN+RNN），系统能够更准确地识别连续的手势序列。此外，本文还探讨了多种融合策略，以整合骨骼数据与深度数据，从而有效提取时空联合信息。在动态手部手势-14/28数据集上，该方法取得了85.46%的整体识别准确率。