
摘要
多目标跟踪(Multi-object tracking, MOT)旨在视频中估计目标的边界框及其身份。现有大多数方法通过关联置信度高于阈值的检测框来获取目标身份,而低置信度的检测框(如被遮挡的目标)则被直接丢弃,这导致了显著的真值目标遗漏和轨迹断裂问题。为解决这一问题,本文提出一种简单、高效且通用的关联方法:不再仅依赖高分检测框,而是几乎关联所有检测框。对于低分检测框,我们利用其与轨迹片段(tracklets)之间的相似性,以恢复真实目标并剔除背景误检。该方法在9种不同的前沿跟踪器上均实现了稳定提升,IDF1得分提升幅度达1至10分。为进一步推动MOT性能的极限,我们设计了一种简洁而强大的跟踪器——ByteTrack。首次在MOT17测试集上实现了80.3的MOTA、77.3的IDF1和63.1的HOTA指标,且在单张V100 GPU上达到30 FPS的实时运行速度。此外,ByteTrack在MOT20、HiEve和BDD100K等多个主流跟踪基准上也取得了当前最优性能。相关源代码、预训练模型(含部署版本)及集成到其他跟踪器的使用教程已开源,详见:https://github.com/ifzhang/ByteTrack。
代码仓库
ifzhang/ByteTrack
官方
pytorch
GitHub 中提及
levinwil/MulteTrack
pytorch
GitHub 中提及
wuhengliangliang/ByteTrack
mindspore
GitHub 中提及
levinwil/MyteTrack
pytorch
GitHub 中提及
2023-MindSpore-1/ms-code-28
mindspore
GitHub 中提及
Robotmurlock/Motrack
GitHub 中提及
mikel-brostrom/boxmot
pytorch
GitHub 中提及
HaojunYuPKU/MOT_detectron
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| multi-object-tracking-on-dancetrack | ByteTrack | AssA: 31.5 DetA: 70.5 HOTA: 47.1 IDF1: 51.9 MOTA: 88.2 |
| multi-object-tracking-on-mot17 | ByteTrack | HOTA: 63.1 IDF1: 77.3 MOTA: 80.3 |
| multi-object-tracking-on-mot20-1 | ByteTrack | HOTA: 61.3 IDF1: 75.2 MOTA: 77.8 |
| multi-object-tracking-on-sportsmot | ByteTrack | AssA: 52.3 DetA: 78.5 HOTA: 64.1 IDF1: 71.4 MOTA: 95.9 |
| multiple-object-tracking-on-bdd100k-test-1 | ByteTrack | mIDF1: 55.8 mMOTA: 40.1 |
| multiple-object-tracking-on-bdd100k-val | ByteTrack | AssocA: 51.5 TETA: 55.7 mIDF1: 54.8 mMOTA: 45.5 |
| multiple-object-tracking-on-sportsmot | ByteTrack | AssA: 52.3 DetA: 78.5 HOTA: 64.1 IDF1: 71.4 MOTA: 95.9 |