摘要

在线未剪辑视频中的动作检测旨在实时识别正在发生的动作，这对于实时应用非常重要。以往的方法依赖于对时间动作边界进行繁琐的注释以进行训练，这限制了在线动作检测系统的可扩展性。我们提出了一种弱监督框架——WOAD（Weakly-supervised Online Action Detection），该框架仅使用视频类别标签即可进行训练。WOAD 包含两个联合训练的模块，即时间提议生成器（Temporal Proposal Generator, TPG）和在线动作识别器（Online Action Recognizer, OAR）。在视频类别标签的监督下，TPG 以离线方式运行，目标是为 OAR 准确地挖掘伪帧级标签。借助 TPG 提供的监督信号，OAR 学会了以在线方式执行动作检测。在 THUMOS'14、ActivityNet1.2 和 ActivityNet1.3 数据集上的实验结果表明，我们的弱监督方法显著优于其他弱监督基线方法，并且其性能与之前的强监督方法相当。此外，当有强监督数据可用时，WOAD 还可以灵活地利用这些数据。在强监督条件下，我们的方法在在线逐帧动作识别和在线检测动作开始的任务中均取得了最先进的结果。