
摘要
我们提出了一种统一的方法,称为Unicorn,该方法可以使用同一网络和相同的模型参数同时解决四个跟踪问题(单目标跟踪SOT、多目标跟踪MOT、视频对象分割VOS和多目标跟踪与分割MOTS)。由于对象跟踪问题本身的定义较为分散,现有的大多数跟踪器都是为了应对单一或部分任务而开发的,并且在特定任务的特征上过度专业化。相比之下,Unicorn提供了一个统一的解决方案,在所有跟踪任务中采用了相同的输入、主干网络、嵌入层和头部结构。这是首次实现跟踪网络架构和学习范式的伟大统一。Unicorn在包括LaSOT、TrackingNet、MOT17、BDD100K、DAVIS16-17、MOTS20和BDD100K MOTS在内的8个跟踪数据集上的表现与任务专用的跟踪器相当或更优。我们相信,Unicorn将是迈向通用视觉模型的重要一步。代码可在https://github.com/MasterBin-IIAU/Unicorn 获取。
代码仓库
masterbin-iiau/unicorn
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| multi-object-tracking-and-segmentation-on-3 | Unicorn | mMOTSA: 29.6 |
| multi-object-tracking-on-mot17 | Unicorn | HOTA: 61.7 IDF1: 75.5 MOTA: 77.2 |
| multi-object-tracking-on-mots20 | Unicorn | IDF1: 65.9 sMOTSA: 65.3 |
| multiple-object-tracking-on-bdd100k-val | Unicorn | TETA: - mIDF1: 54.0 mMOTA: 41.2 |
| video-object-tracking-on-nv-vot211 | Unicorn | AUC: 34.52 Precision: 47.77 |
| visual-object-tracking-on-lasot | Unicorn | AUC: 68.5 Normalized Precision: 76.6 Precision: 74.1 |
| visual-object-tracking-on-trackingnet | Unicorn | Accuracy: 83 Normalized Precision: 86.4 Precision: 82.2 |