摘要

近年来，在线动作检测吸引了越来越多的研究兴趣。当前的工作通过建模历史依赖关系并预测未来，以感知视频片段中的动作演变，从而提高检测精度。然而，现有的范式忽略了类别级别的建模，并且对效率的关注不足。对于某一类别而言，其代表性帧表现出多种特征。因此，类别级别的建模可以为时间依赖关系建模提供补充指导。本文提出了一种有效的示例咨询机制，首先测量帧与示例帧之间的相似度，然后根据相似度权重聚合示例特征。该机制还具有高效性，因为相似度测量和特征聚合所需的计算量有限。基于示例咨询机制，可以通过将历史帧视为示例来捕捉长期依赖关系；同时，通过将某一类别的代表性帧视为示例来实现类别级别的建模。由于类别级别建模的互补性，我们的方法采用了轻量级架构但在三个基准数据集上实现了新的高性能。此外，利用时空网络处理视频帧，我们的方法在有效性和效率之间取得了良好的平衡。代码可在 https://github.com/VividLe/Online-Action-Detection 获取。