摘要

在视频中高效建模动态运动信息对于动作识别任务至关重要。目前大多数先进的方法严重依赖密集光流作为运动表征。尽管将光流与RGB帧结合作为输入能够实现优异的识别性能，但光流的提取过程极为耗时，这无疑会制约实时动作识别的应用。本文通过减少对光流的依赖，提出了一种快速动作识别的新思路。我们的动机源于观察到：运动边界的小幅位移是区分不同动作最关键的特征，因此我们设计了一种新颖的运动线索——外观持续性（Persistence of Appearance, PA）。与传统光流不同，PA 更加聚焦于边界处运动信息的提取。此外，PA 仅通过在特征空间中累积像素级差异来实现，无需进行所有可能运动矢量的密集块匹配搜索，因而具有更高的计算效率。在运动建模速度方面，PA 相较于传统光流提升了超过1000倍（达到8196 fps，而光流仅为8 fps）。为进一步将PA中的短期动态信息聚合为长期动态，我们还提出了一种全局时间融合策略——多时间尺度聚合池化（Various-timescale Aggregation Pooling, VAP），该方法能够自适应地建模跨多个时间尺度的长程时序依赖关系。最终，我们将所提出的PA与VAP整合为一个统一框架——持续外观网络（Persistent Appearance Network, PAN），具备强大的时序建模能力。在六个具有挑战性的动作识别基准数据集上的大量实验表明，PAN在保持极低浮点运算量（FLOPs）的同时，性能超越了近期的最先进方法。代码与模型已开源，地址为：https://github.com/zhang-can/PAN-PyTorch。