摘要

骨架数据因其在动态场景和复杂背景下的鲁棒性，已被广泛应用于动作识别任务中。现有方法已证实，骨架数据中的关节信息与骨骼信息均对动作识别具有重要帮助。然而，如何有效融合这两种数据，以充分利用关节与骨骼之间的内在关系，仍是亟待解决的问题。为此，本文基于人体自然结构中关节与骨骼之间的运动学依赖关系，将骨架数据建模为有向无环图（Directed Acyclic Graph, DAG）。为此，我们设计了一种新型有向图神经网络，专门用于提取关节、骨骼及其相互关系的特征，并基于所提取的特征进行动作预测。此外，为更好地适应动作识别任务，图的拓扑结构在训练过程中被设计为自适应调整，显著提升了模型性能。同时，本文还引入了骨架序列的运动信息，并与空间信息在双流框架下进行融合，进一步增强了识别效果。最终模型在两个大规模数据集NTU-RGBD和Skeleton-Kinetics上进行了测试，均超越了现有最先进方法的性能表现。