摘要

基于骨架的人体动作识别在过去的几年中吸引了大量的研究关注。近期的研究尝试利用循环神经网络来建模人体关节三维位置配置之间的时序依赖关系，以更好地分析骨骼数据中的人体活动。本研究进一步将这一思想扩展到空间域和时间域，以便同时在这两个域内更好地分析人体骨架序列中的动作相关信息来源。根据Kinect骨骼数据的图像结构，提出了一种有效的基于树结构的遍历框架。为了处理骨骼数据中的噪声，引入了一种新的LSTM模块内的门控机制，通过该机制，网络可以学习序列数据的可靠性，并相应地调整输入数据对存储在单元记忆细胞中的长期上下文表示更新过程的影响。此外，本文还介绍了一种新颖的多模态特征融合策略，该策略在LSTM单元内部实现。在七个具有挑战性的人体动作识别基准数据集上的全面实验结果证明了所提方法的有效性。