摘要

大多数关于时间动作检测的研究都是以离线问题的形式进行的，即在整段视频完全观察完毕后确定动作的开始和结束时间。然而，包括监控系统和驾驶员辅助系统在内的许多重要实时应用需要在每个视频帧到达时立即识别动作，仅基于当前和历史观测数据。本文中，我们提出了一种新颖的框架——时间递归网络（Temporal Recurrent Network, TRN），该框架通过同时执行在线动作检测和对未来即时情况的预测来建模视频帧更大的时间上下文。在每个时刻，我们的方法利用累积的历史证据和预测的未来信息来更好地识别当前正在发生的动作，并将这两者整合到一个统一的端到端架构中。我们在两个流行的在线动作检测数据集HDD和TVSeries以及另一个广泛使用的数据集THUMOS'14上评估了我们的方法。结果表明，TRN显著优于现有最先进的方法。