摘要

人体动作识别近年来已成为计算机视觉领域的重要研究方向。基于3D卷积神经网络（3D-CNN）的多种方法在视频动作识别任务中同时处理空间与时间维度，取得了具有竞争力的性能。然而，这些方法仍存在一些根本性局限，例如鲁棒性与泛化能力不足，例如视频帧的时间顺序如何影响识别结果这一问题尚未得到充分解决。为此，本文提出一种新型端到端的基于Transformer的定向注意力（DirecFormer）框架，以实现更稳健的动作识别。该方法从一个新颖且简洁的视角出发，利用Transformer架构理解动作序列的正确时序关系。本文的主要贡献有三方面：第一，首次将时序有序学习问题引入动作识别任务中；第二，提出一种新的定向注意力（Directed Attention）机制，能够按正确时序对人类动作进行建模并分配注意力；第三，引入动作序列建模中的条件依赖关系，同时建模动作的顺序与类别信息。所提出的模型在三个标准大规模基准数据集（Jester、Kinetics-400 和 Something-Something-V2）上均取得了优于现有方法的最先进（SOTA）性能，表现出卓越的鲁棒性与泛化能力。