3 个月前

SportsMOT:一个多运动场景下的大规模多目标追踪数据集

SportsMOT:一个多运动场景下的大规模多目标追踪数据集

摘要

在体育场景中的多目标跟踪(Multi-object Tracking, MOT)对于获取运动员统计数据、支持后续分析(如自动战术分析)具有关键作用。然而,现有的MOT基准数据集对该领域的关注甚少,限制了其发展。为此,本文提出一个大规模、涵盖多样化体育场景的多目标跟踪数据集,命名为 \emph{SportsMOT},其目标是实现球场上所有运动员的持续跟踪。该数据集包含240段视频序列,超过15万帧(约为MOT17的15倍),以及超过160万个边界框(约为MOT17的3倍),数据来源于篮球、排球和足球三种体育项目。SportsMOT具有两个关键特性:一是目标运动速度快且速度变化多样;二是目标外观相似但具备可区分性。我们期望该数据集能够推动多目标跟踪算法在基于运动信息的关联与基于外观信息的关联两个方面实现全面提升。我们对多种先进的跟踪算法进行了基准测试,结果表明,SportsMOT的核心挑战在于目标关联。为缓解这一问题,我们进一步提出一种新型多目标跟踪框架——\emph{MixSort},该框架引入一种类似MixFormer的结构作为辅助关联模块,集成于主流的“检测后跟踪”(tracking-by-detection)框架中。通过将定制化的外观关联机制与原有的运动关联机制相结合,MixSort在SportsMOT和MOT17两个数据集上均取得了当前最优的性能表现。基于MixSort,我们对SportsMOT进行了深入分析,并提炼出若干具有启发性的观察与洞见。相关数据集与代码将公开发布于:https://deeperaction.github.io/datasets/sportsmot.html。

代码仓库

MCG-NJU/SportsMOT
官方
GitHub 中提及

基准测试

基准方法指标
multi-object-tracking-on-sportsmotMixSort-OC
AssA: 62.0
DetA: 88.5
HOTA: 74.1
IDF1: 74.4
MOTA: 96.5
multi-object-tracking-on-sportsmotMixSort-Byte
AssA: 54.8
DetA: 78.8
HOTA: 65.7
IDF1: 74.1
MOTA: 96.2
multiple-object-tracking-on-sportsmotMixSort-Byte
AssA: 54.8
DetA: 78.8
HOTA: 65.7
IDF1: 74.1
MOTA: 96.2
multiple-object-tracking-on-sportsmotMixSort-OC
AssA: 62.0
DetA: 88.5
HOTA: 74.1
IDF1: 74.4
MOTA: 96.5

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
SportsMOT:一个多运动场景下的大规模多目标追踪数据集 | 论文 | HyperAI超神经