摘要

本文首次引入了“时间注意力滤波器”（temporal attention filters）这一新概念，并阐述了其在视频中人体活动识别中的应用方法。许多高层级活动通常由多个具有不同持续时间或速度的时间片段（如子事件）组成，本文的目标是通过使用多个注意力滤波器，使模型能够显式地学习此类时间结构，并从中获益。所提出的时间滤波器设计为完全可微分，从而支持与底层基于帧或基于片段的卷积神经网络架构进行端到端联合训练。本文提出一种学习一组最优静态时间注意力滤波器的方法，该滤波器可在不同视频间共享；并进一步将其拓展至利用循环长短期记忆网络（LSTM）为每段测试视频动态调整注意力滤波器。这一机制使时间注意力滤波器能够学习到与特定活动相关的潜在子事件。实验结果验证了所提出的“时间注意力滤波器”概念在活动识别任务中的有效性，并可视化了模型所学习到的潜在子事件。