3 个月前

追踪野外的每一项事物

追踪野外的每一项事物

摘要

当前的多类别多目标跟踪(Multi-category Multiple Object Tracking, MOT)评估指标通常依赖类别标签对跟踪结果进行分组,以实现按类别的独立评估。类似地,大多数MOT方法也仅在相同类别预测之间进行目标关联。这两种在MOT领域普遍采用的策略,隐含地假设分类性能接近完美。然而,在近年来出现的大规模MOT数据集中,这一假设远不成立——这些数据集包含大量类别,其中不乏稀有类别或语义相近的类别。因此,分类结果的不准确性导致跟踪性能下降,并使得跟踪器的基准评估变得不充分。为解决上述问题,我们提出将分类与跟踪任务解耦。为此,我们引入了一种新的评估指标——“万物跟踪准确率”(Track Every Thing Accuracy, TETA),该指标将跟踪性能的度量分解为三个子因素:定位(localization)、关联(association)和分类(classification),从而能够在分类不准确的情况下仍实现对跟踪性能的全面评估。此外,TETA还能有效应对大规模跟踪数据集中普遍存在的标注不完整问题。为进一步支持该评估框架,我们提出了一个名为“万物跟踪器”(Track Every Thing tracker, TETer)的新跟踪方法,其通过类原型匹配(Class Exemplar Matching, CEM)实现目标关联。实验结果表明,TETA能够更全面地评估跟踪器性能,而TETer在具有挑战性的大规模数据集BDD100K和TAO上,相较于当前最先进方法取得了显著提升。

代码仓库

SysCV/tet
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
multi-object-tracking-on-taoTETer-HTC
AssocA: 37.53
ClsA: 15.70
LocA: 57.53
TETA: 36.85
multi-object-tracking-on-taoTETer-SwinT
AssocA: 36.71
ClsA: 15.03
LocA: 52.10
TETA: 34.61
multi-object-tracking-on-taoTETer
AssocA: 35.02
ClsA: 13.16
LocA: 51.58
TETA: 33.25
multiple-object-tracking-on-bdd100k-valTETer
AssocA: 52.9
TETA: 50.8
mIDF1: 53.3
mMOTA: 39.1

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
追踪野外的每一项事物 | 论文 | HyperAI超神经