3 个月前

ByteTrack:通过关联每个检测框实现多目标追踪

ByteTrack:通过关联每个检测框实现多目标追踪

摘要

多目标跟踪(Multi-object tracking, MOT)旨在视频中估计目标的边界框及其身份。现有大多数方法通过关联置信度高于阈值的检测框来获取目标身份,而低置信度的检测框(如被遮挡的目标)则被直接丢弃,这导致了显著的真值目标遗漏和轨迹断裂问题。为解决这一问题,本文提出一种简单、高效且通用的关联方法:不再仅依赖高分检测框,而是几乎关联所有检测框。对于低分检测框,我们利用其与轨迹片段(tracklets)之间的相似性,以恢复真实目标并剔除背景误检。该方法在9种不同的前沿跟踪器上均实现了稳定提升,IDF1得分提升幅度达1至10分。为进一步推动MOT性能的极限,我们设计了一种简洁而强大的跟踪器——ByteTrack。首次在MOT17测试集上实现了80.3的MOTA、77.3的IDF1和63.1的HOTA指标,且在单张V100 GPU上达到30 FPS的实时运行速度。此外,ByteTrack在MOT20、HiEve和BDD100K等多个主流跟踪基准上也取得了当前最优性能。相关源代码、预训练模型(含部署版本)及集成到其他跟踪器的使用教程已开源,详见:https://github.com/ifzhang/ByteTrack。

代码仓库

ifzhang/ByteTrack
官方
pytorch
GitHub 中提及
levinwil/MulteTrack
pytorch
GitHub 中提及
wuhengliangliang/ByteTrack
mindspore
GitHub 中提及
levinwil/MyteTrack
pytorch
GitHub 中提及
2023-MindSpore-1/ms-code-28
mindspore
GitHub 中提及
Robotmurlock/Motrack
GitHub 中提及
mikel-brostrom/boxmot
pytorch
GitHub 中提及
HaojunYuPKU/MOT_detectron
pytorch
GitHub 中提及

基准测试

基准方法指标
multi-object-tracking-on-dancetrackByteTrack
AssA: 31.5
DetA: 70.5
HOTA: 47.1
IDF1: 51.9
MOTA: 88.2
multi-object-tracking-on-mot17ByteTrack
HOTA: 63.1
IDF1: 77.3
MOTA: 80.3
multi-object-tracking-on-mot20-1ByteTrack
HOTA: 61.3
IDF1: 75.2
MOTA: 77.8
multi-object-tracking-on-sportsmotByteTrack
AssA: 52.3
DetA: 78.5
HOTA: 64.1
IDF1: 71.4
MOTA: 95.9
multiple-object-tracking-on-bdd100k-test-1ByteTrack
mIDF1: 55.8
mMOTA: 40.1
multiple-object-tracking-on-bdd100k-valByteTrack
AssocA: 51.5
TETA: 55.7
mIDF1: 54.8
mMOTA: 45.5
multiple-object-tracking-on-sportsmotByteTrack
AssA: 52.3
DetA: 78.5
HOTA: 64.1
IDF1: 71.4
MOTA: 95.9

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
ByteTrack:通过关联每个检测框实现多目标追踪 | 论文 | HyperAI超神经