摘要

近年来，计算机视觉研究领域致力于探索如何建模视频中的时序动态，以实现三维人体动作识别。为此，研究主要围绕两种基准方法展开：（i）采用长短期记忆（LSTM）的循环神经网络（RNN）；以及（ii）将骨骼图像表示作为输入馈入卷积神经网络（CNN）的方法。尽管RNN类方法取得了优异的识别性能，但其在高效学习骨骼关节点之间空间关系方面存在局限。相比之下，用于输入CNN的骨骼图像表示具有天然优势，能够从二维数组中学习结构化信息（即自动捕捉骨骼关节点之间的空间关系）。为进一步提升此类表示的表达能力，本文提出一种新型骨骼图像表示方法——树结构参考关节点图像（Tree Structure Reference Joints Image, TSRJI），可作为CNN的输入。该方法的优势在于融合了参考关节点与树状骨架结构：前者通过引入多样化的关节点空间关系增强表征，后者则通过深度优先遍历算法保留关键的空间拓扑结构。实验结果表明，所提出的TSRJI表示在两个公开数据集上均表现出显著的有效性，在最新的NTU RGB+D 120数据集上取得了当前最优的识别性能。