摘要

在本研究中，我们提出了一种新颖的多视角动作识别方法，通过引导学习到的动作表示与视频中的视角相关信息分离来实现。在尝试从多个视角捕获的动作实例进行分类时，由于不同摄像角度下背景、遮挡和动作可见性的差异，难度会更高。为了解决多视角动作识别中引入的各种问题，我们提出了一种新的可学习变压器解码器查询配置，并结合两种监督对比损失，以强制学习对视角变化具有鲁棒性的动作特征。我们的解耦特征学习分为两个阶段：变压器解码器使用独立的查询分别学习动作和视角信息，然后通过我们的两种对比损失进一步解耦。实验结果表明，我们的模型和训练方法在四个多视角动作识别数据集（NTU RGB+D、NTU RGB+D 120、PKU-MMD 和 N-UCLA）上显著优于所有其他单模态模型。与之前的 RGB 工作相比，我们在每个数据集上的最大改进分别为 1.5%、4.8%、2.2% 和 4.8%。