3 个月前

基于Transformer的多目标追踪对比学习

基于Transformer的多目标追踪对比学习

摘要

检测变换器(DETR)通过将目标检测建模为一种序列转换任务——将图像特征转换为对象级表示——开辟了新的可能性。以往的研究通常在DETR基础上添加昂贵的模块以实现多目标跟踪(MOT),导致模型架构更加复杂。本文提出了一种更为简洁的方案:通过引入实例级对比损失、改进的采样策略以及轻量级的匹配方法,将DETR直接转化为一个MOT模型。所提出的训练策略在保持原有检测能力的同时,学习对象外观特征,且计算开销极低。在具有挑战性的BDD100K数据集上,该方法的性能超越了此前的最先进水平,mMOTA指标提升2.6个百分点;在MOT17数据集上,其表现也与现有的基于Transformer的方法相当。

代码仓库

pfdp0/ContrasTR
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
multi-object-tracking-on-mot17ContrasTR
HOTA: 58.9
IDF1: 71.8
MOTA: 73.7
multiple-object-tracking-on-bdd100k-test-1ContrasTR
mHOTA: 46.1
mIDF1: 56.5
mMOTA: 42.8
multiple-object-tracking-on-bdd100k-valContrasTR
AssocA: -
TETA: -
mIDF1: 52.9
mMOTA: 41.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于Transformer的多目标追踪对比学习 | 论文 | HyperAI超神经