摘要

本文针对长时足球视频中的事件检测与定位问题展开研究。我们的核心观点是：准确实现长时足球视频中的事件定位，必须充分理解视频帧之间的长程依赖关系。此外，若不考虑相邻帧之间的中程与短程相关性，对于足球视频中快速运动的事件，其检测效果将难以保证。我们认为，通过在统一架构中综合建模从短程到长程的帧间依赖关系，可显著提升事件定位的性能。为有效建模长程与中程依赖关系，我们提出基于双流卷积神经网络（Two-stream CNN）特征，采用带有扩张门控循环单元（DilatedRNN）的长短期记忆网络（LSTM）结构。其中，双流CNN负责提取对细节刻画至关重要的局部时空特征，而DilatedRNN则能够将远距离帧所蕴含的信息有效传递给分类器与事件定位算法。在目前公开可用的最大规模足球视频基准数据集——SoccerNet上对所提事件定位算法进行评估，结果表明，相较于现有最先进方法，准确率提升达0.8%至13.6%；与基线模型相比，最高可实现30.1%的准确率增益。此外，我们通过大规模消融实验，系统分析了各神经网络组件对事件定位准确率的贡献，进一步验证了所提方法的有效性与各模块的重要性。