4 个月前

面向大统一的目标跟踪

面向大统一的目标跟踪

摘要

我们提出了一种统一的方法,称为Unicorn,该方法可以使用同一网络和相同的模型参数同时解决四个跟踪问题(单目标跟踪SOT、多目标跟踪MOT、视频对象分割VOS和多目标跟踪与分割MOTS)。由于对象跟踪问题本身的定义较为分散,现有的大多数跟踪器都是为了应对单一或部分任务而开发的,并且在特定任务的特征上过度专业化。相比之下,Unicorn提供了一个统一的解决方案,在所有跟踪任务中采用了相同的输入、主干网络、嵌入层和头部结构。这是首次实现跟踪网络架构和学习范式的伟大统一。Unicorn在包括LaSOT、TrackingNet、MOT17、BDD100K、DAVIS16-17、MOTS20和BDD100K MOTS在内的8个跟踪数据集上的表现与任务专用的跟踪器相当或更优。我们相信,Unicorn将是迈向通用视觉模型的重要一步。代码可在https://github.com/MasterBin-IIAU/Unicorn 获取。

代码仓库

masterbin-iiau/unicorn
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
multi-object-tracking-and-segmentation-on-3Unicorn
mMOTSA: 29.6
multi-object-tracking-on-mot17Unicorn
HOTA: 61.7
IDF1: 75.5
MOTA: 77.2
multi-object-tracking-on-mots20Unicorn
IDF1: 65.9
sMOTSA: 65.3
multiple-object-tracking-on-bdd100k-valUnicorn
TETA: -
mIDF1: 54.0
mMOTA: 41.2
video-object-tracking-on-nv-vot211Unicorn
AUC: 34.52
Precision: 47.77
visual-object-tracking-on-lasotUnicorn
AUC: 68.5
Normalized Precision: 76.6
Precision: 74.1
visual-object-tracking-on-trackingnetUnicorn
Accuracy: 83
Normalized Precision: 86.4
Precision: 82.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
面向大统一的目标跟踪 | 论文 | HyperAI超神经