摘要

本文提出了一种新型的分层自注意力网络（Hierarchical Self-Attention Network, HISAN），用于视频中动作定位任务的空间-时间管（spatial-temporal tubes）生成。HISAN的核心思想是将双流卷积神经网络（CNN）与分层双向自注意力机制相结合，该机制包含两个层级的双向自注意力模块，能够高效捕捉长期时序依赖关系与空间上下文信息，从而实现更精确的动作定位。此外，本文引入一种序列重评分（Sequence Rescoring, SR）算法，以解决因遮挡或背景杂乱导致的检测分数不一致问题。同时，提出一种新的特征融合策略，不仅整合了双流网络中的外观与运动信息，还融合了运动显著性特征，以有效缓解相机运动带来的干扰。仿真实验结果表明，该方法在广泛使用的UCF101-24和J-HMDB数据集上，于动作定位与识别准确率方面达到了与当前最先进方法相媲美的性能。