摘要

本文提出了一种时空逐步（Spatio-TEmporal Progressive, STEP）动作检测器——一种用于视频中时空动作检测的逐步学习框架。该方法从少量粗尺度提案立方体开始，通过几个步骤逐步优化这些提案以接近动作。通过利用前几步的回归输出，可以在后续步骤中逐渐获得高质量的提案（即，符合动作运动）。在每一步中，我们自适应地扩展提案的时间范围，以纳入更多相关的时序上下文。与之前一次性完成动作检测的工作相比，我们的逐步学习框架能够自然地处理动作管内的空间位移问题，因此提供了一种更为有效的时空建模方法。我们在UCF101和AVA数据集上对所提出的方法进行了广泛的评估，并展示了其优越的检测效果。值得注意的是，在仅使用11个和34个初始提案的情况下，我们的方法在这两个数据集上分别实现了75.0%和18.6%的平均精度（mAP），经过3步逐步优化后取得了显著成果。