摘要

基于自注意力机制的Transformer模型在图像分类、目标检测以及近期的视频理解任务中均取得了令人瞩目的成果。受此启发，本文研究了将Transformer网络应用于视频中的时序动作定位任务。为此，我们提出了ActionFormer——一种简洁而强大的单阶段模型，能够在无需生成动作候选区域（action proposals）或依赖预定义锚框（anchor windows）的情况下，一次性识别视频中动作发生的时间位置并分类其类别。ActionFormer结合了多尺度特征表示与局部自注意力机制，并采用轻量级解码器对时间轴上的每个时刻进行分类，同时预测对应动作的边界。实验表明，这种精心设计的架构显著优于以往方法。在不使用任何额外技巧（bells and whistles）的情况下，ActionFormer在THUMOS14数据集上以tIoU=0.5的标准达到了71.0%的mAP，相比最佳先前模型提升了14.1个百分点。此外，该模型在ActivityNet 1.3数据集上取得了36.6%的平均mAP，在EPIC-Kitchens 100数据集上更是相比先前方法提升了13.5%的平均mAP。相关代码已开源，地址为：http://github.com/happyharrycn/actionformer_release。