3 个月前

HIPTrack:基于历史提示的视觉追踪

HIPTrack:基于历史提示的视觉追踪

摘要

遵循孪生网络范式的跟踪器通过模板区域与搜索区域特征之间的相似性匹配来实现目标追踪。为应对目标外观变化(如形变、遮挡)等复杂场景,许多方法尝试引入跟踪历史信息以提升性能。然而,现有方法对历史信息的利用仍显不足且不够全面,通常需要重复训练,并带来大量计算开销。本文表明,仅通过向遵循孪生范式的跟踪器提供精确且实时更新的历史信息,即可在不改变任何模型参数的前提下实现显著的性能提升。基于此,我们提出一种历史提示网络(Historical Prompt Network),该网络利用经过优化的历史前景掩码以及目标的历史视觉特征,为跟踪器提供全面而精准的上下文提示。在此基础上,我们构建了一种新型跟踪器——HIPTrack,其在无需重新训练整个模型的情况下实现了显著的性能提升。我们在七个公开数据集上进行了实验,结果表明,所提方法在LaSOT、LaSOText、GOT-10k和NfS等基准上均超越了当前最先进的跟踪算法。此外,该历史提示网络可作为即插即用模块无缝集成至现有跟踪器中,实现性能增强。项目源代码已公开,地址为:https://github.com/WenRuiCai/HIPTrack。

代码仓库

wenruicai/hiptrack
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
visual-object-tracking-on-got-10kHIPTrack
Average Overlap: 77.4
Success Rate 0.5: 88.0
Success Rate 0.75: 74.5
visual-object-tracking-on-lasotHIPTrack
AUC: 72.7
Normalized Precision: 82.9
Precision: 79.5
visual-object-tracking-on-lasot-extHIPTrack
AUC: 53.0
Normalized Precision: 64.3
Precision: 60.6
visual-object-tracking-on-needforspeedHIPTrack
AUC: 0.681
visual-object-tracking-on-otb-2015HIPTrack
AUC: 0.71
visual-object-tracking-on-trackingnetHIPTrack
Accuracy: 84.5
Normalized Precision: 89.1
Precision: 83.8
visual-object-tracking-on-uav123HIPTrack
AUC: 0.705

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
HIPTrack:基于历史提示的视觉追踪 | 论文 | HyperAI超神经