摘要

基于骨骼的动作识别因其采用简洁且鲁棒的骨骼表征而受到广泛关注。然而，现有方法通常仅依赖单一主干网络来建模骨骼模态，这容易受到网络主干结构固有缺陷的限制。为解决这一问题，并充分挖掘不同网络架构之间的互补优势，本文提出一种新型的混合双分支网络（Hybrid Dual-Branch Network, HDBN），以实现更鲁棒的骨骼动作识别。该方法结合图卷积网络（GCN）在处理图结构数据方面的优势，以及Transformer在建模全局信息方面的强大能力。具体而言，所提出的HDBN由两个主干分支组成：MixGCN与MixFormer。其中，MixGCN分支利用图卷积网络建模二维与三维骨骼数据，而MixFormer分支则采用Transformer架构对同一模态进行建模，从而实现多视角、多层次的信息融合。在2024年ICME Grand Challenge的多模态视频推理与分析竞赛（MMVRAC）中，HDBN脱颖而出，成为顶尖解决方案之一，在UAV-Human数据集的两个基准测试上分别取得了47.95%和75.36%的准确率，显著优于大多数现有方法。相关代码将公开发布于：https://github.com/liujf69/ICMEW2024-Track10。