
摘要
当前的多类别多目标跟踪(Multi-category Multiple Object Tracking, MOT)评估指标通常依赖类别标签对跟踪结果进行分组,以实现按类别的独立评估。类似地,大多数MOT方法也仅在相同类别预测之间进行目标关联。这两种在MOT领域普遍采用的策略,隐含地假设分类性能接近完美。然而,在近年来出现的大规模MOT数据集中,这一假设远不成立——这些数据集包含大量类别,其中不乏稀有类别或语义相近的类别。因此,分类结果的不准确性导致跟踪性能下降,并使得跟踪器的基准评估变得不充分。为解决上述问题,我们提出将分类与跟踪任务解耦。为此,我们引入了一种新的评估指标——“万物跟踪准确率”(Track Every Thing Accuracy, TETA),该指标将跟踪性能的度量分解为三个子因素:定位(localization)、关联(association)和分类(classification),从而能够在分类不准确的情况下仍实现对跟踪性能的全面评估。此外,TETA还能有效应对大规模跟踪数据集中普遍存在的标注不完整问题。为进一步支持该评估框架,我们提出了一个名为“万物跟踪器”(Track Every Thing tracker, TETer)的新跟踪方法,其通过类原型匹配(Class Exemplar Matching, CEM)实现目标关联。实验结果表明,TETA能够更全面地评估跟踪器性能,而TETer在具有挑战性的大规模数据集BDD100K和TAO上,相较于当前最先进方法取得了显著提升。
代码仓库
SysCV/tet
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| multi-object-tracking-on-tao | TETer-HTC | AssocA: 37.53 ClsA: 15.70 LocA: 57.53 TETA: 36.85 |
| multi-object-tracking-on-tao | TETer-SwinT | AssocA: 36.71 ClsA: 15.03 LocA: 52.10 TETA: 34.61 |
| multi-object-tracking-on-tao | TETer | AssocA: 35.02 ClsA: 13.16 LocA: 51.58 TETA: 33.25 |
| multiple-object-tracking-on-bdd100k-val | TETer | AssocA: 52.9 TETA: 50.8 mIDF1: 53.3 mMOTA: 39.1 |