摘要

基于骨骼的人体动作识别在人机交互与智能监控等领域具有广泛应用。然而，视角差异和噪声数据给该任务带来了显著挑战，同时如何有效表征时空骨骼序列仍是亟待解决的问题。为在统一框架下应对上述挑战，本文提出一种增强型骨骼可视化方法，用于实现视角不变的人体动作识别。本方法包含三个阶段：首先，设计了一种基于序列的视角不变变换，以消除视角变化对骨骼关节时空位置的影响；其次，将变换后的骨骼数据可视化为一系列彩色图像，隐式编码了骨骼关节的时空信息；进一步地，对彩色图像采用视觉与运动增强方法，以强化其局部特征模式；最后，采用基于卷积神经网络的模型从彩色图像中提取鲁棒且具有判别性的特征，通过深度特征在决策层的融合生成最终的动作类别得分。在四个具有挑战性的数据集上进行的大量实验一致验证了所提方法的优越性。