摘要

在线动作检测（Online Action Detection, OAD）是指在无法访问未来帧的情况下，对流式视频中的动作进行识别的任务。为有效捕捉长时依赖关系，研究者们投入了大量精力，其中基于Transformer的模型因其在建模长时序结构方面的出色能力而备受关注。相比之下，循环神经网络（RNN）近年来受到的关注较少，主要因其性能相较于采用Transformer的最新方法存在明显差距。本文深入探究了RNN性能逊于基于Transformer算法的根本原因。研究发现，训练阶段与推理阶段之间的不一致性是制约RNN有效训练的主要障碍。为解决该问题，我们提出在每个时间步计算损失时引入非均匀权重，从而使RNN模型能够在更接近实际推理场景的环境中进行学习。在三个基准数据集THUMOS、TVSeries和FineAction上的大量实验表明，采用所提方法训练的轻量级RNN模型，在性能上可与现有最优方法持平甚至超越，同时实现了显著的效率提升。相关代码已公开，地址为：https://github.com/jbistanbul/MiniROAD。