
摘要
现有的RGB-T跟踪算法通过利用Transformer架构的全局交互能力和广泛的预训练模型取得了显著进展。然而,这些方法主要采用图像对的外观匹配,并且由于注意力机制固有的高二次复杂度,导致时间信息的利用受到限制。受最近出现的状态空间模型Mamba的启发,该模型以其出色的长序列建模能力和线性计算复杂度而闻名,本研究创新性地提出了一种纯基于Mamba的框架(MambaVT),以充分利用时空上下文建模,实现稳健的可见光-热红外跟踪。具体而言,我们设计了长程跨帧融合组件,以全局适应目标外观变化,并引入短期历史轨迹提示,根据局部时间位置线索预测后续目标状态。大量实验表明,视觉Mamba在RGB-T跟踪中具有显著潜力,MambaVT在四个主流基准测试中实现了最先进的性能,同时计算成本更低。我们希望这项工作能够作为一个简单而强大的基线,激发未来在这个领域的研究。代码和预训练模型将对外公开。
代码仓库
laisimiao/MambaVT
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| rgb-t-tracking-on-gtot | MambaVT-M256 | Precision: 95.2 Success: 78.6 |
| rgb-t-tracking-on-gtot | MambaVT-S256 | Precision: 94.1 Success: 75.3 |
| rgb-t-tracking-on-lasher | MambaVT-M256 | Precision: 72.7 Success: 57.5 |
| rgb-t-tracking-on-lasher | MambaVT-S256 | Precision: 73.0 Success: 57.9 |
| rgb-t-tracking-on-rgbt210 | MambaVT-M256 | Precision: 88.5 Success: 64.4 |
| rgb-t-tracking-on-rgbt210 | MambaVT-S256 | Precision: 88.0 Success: 63.7 |
| rgb-t-tracking-on-rgbt234 | MambaVT-S256 | Precision: 88.9 Success: 65.8 |
| rgb-t-tracking-on-rgbt234 | MambaVT-M256 | Precision: 90.7 Success: 67.5 |