4 个月前

Strong-TransCenter:基于Transformer和密集表示的改进多目标跟踪

Strong-TransCenter:基于Transformer和密集表示的改进多目标跟踪

摘要

近年来,变压器网络(Transformer networks)在许多领域的研究中备受关注,能够在不同的计算机视觉任务中超越最先进的性能。然而,在多目标跟踪(Multiple Object Tracking, MOT)任务中,利用变压器网络的潜力仍相对较少被探索。在这一领域中的先驱努力之一是TransCenter,这是一种基于变压器的MOT架构,采用了密集的对象查询方法,展示了卓越的跟踪能力,同时保持了合理的运行时间。尽管如此,MOT中的一个关键方面——轨迹位移估计(track displacement estimation),仍有改进的空间,以进一步减少关联错误。针对这一挑战,本文提出了一种对TransCenter的新改进。我们建议采用一种基于检测跟踪(Track-by-Detection)范式的后处理机制,旨在优化轨迹位移估计。我们的方法包括整合一个精心设计的卡尔曼滤波器(Kalman filter),该滤波器将变压器输出纳入测量误差估计,并使用嵌入网络(embedding network)进行目标再识别。这种综合策略显著提高了跟踪过程的准确性和鲁棒性。我们通过在MOTChallenge数据集MOT17和MOT20上的全面实验验证了我们的贡献,结果表明所提出的方案优于其他基于变压器的跟踪器。代码已公开发布在:https://github.com/amitgalor18/STC_Tracker

代码仓库

amitgalor18/stc_tracker
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
multiple-object-tracking-with-transformer-onSTC_pub
HOTA: 56.1
IDF1: 67.6
MOTA: 73.0

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
Strong-TransCenter:基于Transformer和密集表示的改进多目标跟踪 | 论文 | HyperAI超神经