摘要

动作视觉节奏（Action Visual Tempo）表征了动作的动态特性及其时间尺度，有助于区分在视觉动态和外观上高度相似的人类动作。以往的方法通常通过以多种采样率对原始视频进行采样来捕捉视觉节奏，但这需要构建复杂的多层网络来处理不同采样率，计算成本较高；另一种方法是分层采样主干网络特征，然而这类方法严重依赖高层特征，容易丢失细粒度的时间动态信息。为此，本文提出一种时序相关模块（Temporal Correlation Module, TCM），该模块可无缝以即插即用的方式嵌入当前主流动作识别主干网络中，仅通过单层低层主干特征即可高效提取动作的视觉节奏。具体而言，TCM包含两个核心组件：多尺度时序动态模块（Multi-scale Temporal Dynamics Module, MTDM）和时序注意力模块（Temporal Attention Module, TAM）。MTDM通过相关性运算，分别学习快速节奏与慢速节奏下的像素级细粒度时序动态；TAM则通过分析跨不同节奏的全局信息，自适应地强化具有表现力的特征，同时抑制冗余或不重要的特征。在多个动作识别基准数据集上的大量实验验证了所提TCM的有效性，包括Something-Something V1 & V2、Kinetics-400、UCF-101和HMDB-51，结果表明，TCM能够显著提升现有基于视频的动作识别模型性能。相关源代码已公开发布于：https://github.com/yzfly/TCM。