
摘要
由于可见光和热红外模态的互补特性,基于可见光图像和热红外图像融合的目标跟踪(以下简称RGB-T跟踪)近年来受到了研究人员越来越多的关注。如何以更低的成本实现两种模态信息的更全面融合,一直是研究者们探索的问题。受视觉提示学习的启发,我们设计了一种基于跨模态互提示学习的新型双流RGB-T跟踪架构,并利用该模型作为教师模型,通过知识蒸馏技术指导单流学生模型进行快速学习。大量实验表明,与类似的RGB-T跟踪器相比,我们设计的教师模型达到了最高的精度率,而学生模型在精度率与教师模型相当的情况下,实现了比教师模型快三倍以上的推理速度。(代码将在被接受后公开。)
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| rgb-t-tracking-on-gtot | MMMP | Precision: 92.4 Success: 77.3 |
| rgb-t-tracking-on-lasher | MMMP | Precision: 71.4 Success: 56.7 |
| rgb-t-tracking-on-rgbt234 | MMMP | Precision: 87.3 Success: 65.1 |