摘要

在本研究中，我们探讨了利用轨迹追踪与三维姿态信息进行动作识别的优势。为此，我们采用拉格朗日视角，将人体运动轨迹作为分析动作的依据，而非局限于空间中的固定点。这一视角使我们能够基于个体的运动轨迹片段（tracklets）来预测其行为。在此框架下，我们首先验证了利用三维姿态信息推断动作的有效性，并进一步研究了人与人之间的交互关系。随后，我们提出了一种拉格朗日动作识别模型（Lagrangian Action Recognition Model, LART），该模型通过融合轨迹上的三维姿态信息与上下文化外观特征，实现更精准的动作识别。实验结果表明，该方法在AVA v2.2数据集上，在仅使用姿态信息的设置以及标准基准设置下均达到了当前最优性能。在仅依赖姿态线索进行推理时，我们的姿态模型相比现有最优方法实现了+10.0 mAP的显著提升；而融合模型相较最优基线模型亦取得了+2.8 mAP的性能增益。相关代码与实验结果已公开，详见：https://brjathu.github.io/LART