DeliègeAdrien ; CioppaAnthony ; GiancolaSilvio ; SeikavandiMeisam J. ; DueholmJacob V. ; NasrollahiKamal ; GhanemBernard ; MoeslundThomas B. ; Van DroogenbroeckMarc

摘要
理解广播视频是一项具有挑战性的计算机视觉任务,因为它需要具备通用推理能力来欣赏视频编辑所提供的内容。在本研究中,我们提出了SoccerNet-v2,这是一个针对SoccerNet视频数据集的手动注释新型大规模语料库,同时发布了一系列开放挑战,以鼓励更多关于足球理解和广播制作的研究。具体而言,我们在SoccerNet的500个未剪辑的广播足球视频中发布了约30万条注释。我们扩展了当前足球领域的任务,包括动作检测、镜头分割及边界检测,并定义了一项新的重播定位任务(replay grounding)。对于每一项任务,我们都提供了基准结果并进行了讨论,这些结果可以通过我们开源的适应性实现来重现。SoccerNet-v2面向更广泛的研究社区推出,旨在帮助推动计算机视觉向更加通用的视频理解和制作自动解决方案迈进。
代码仓库
soccernet/sn-spotting
pytorch
GitHub 中提及
aimagelab/rmsnet_soccer
pytorch
GitHub 中提及
SilvioGiancola/SoccerNetv2-DevKit
pytorch
GitHub 中提及
soccernet/sn-grounding
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| action-spotting-on-soccernet-v2 | NetVLAD (Giancola et al.) | Average-mAP: 31.4 |
| action-spotting-on-soccernet-v2 | AudioVid (Vanderplaetse et al.) | Average-mAP: 39.9 |
| camera-shot-boundary-detection-on-soccernet | Histogram (Scikit-Video) | mAP: 78.5 |
| camera-shot-boundary-detection-on-soccernet | Content (PySceneDetect) | mAP: 62.2 |
| camera-shot-boundary-detection-on-soccernet | Intensity (Scikit-Video) | mAP: 64.0 |
| camera-shot-boundary-detection-on-soccernet | CALF (Cioppa et al.) | mAP: 59.6 |
| camera-shot-segmentation-on-soccernet-v2 | CALF (Cioppa et al.) | mIoU: 47.3 |
| camera-shot-segmentation-on-soccernet-v2 | Baseline | mIoU: 35.8 |
| replay-grounding-on-soccernet-v2 | NetVLAD (Giancola et al.) | Average-AP: 24.3 |
| replay-grounding-on-soccernet-v2 | CALF (Cioppa et al.) | Average-AP: 41.8 |