4 个月前

MambaVT:用于鲁棒RGB-T跟踪的空间-时间上下文建模

MambaVT:用于鲁棒RGB-T跟踪的空间-时间上下文建模

摘要

现有的RGB-T跟踪算法通过利用Transformer架构的全局交互能力和广泛的预训练模型取得了显著进展。然而,这些方法主要采用图像对的外观匹配,并且由于注意力机制固有的高二次复杂度,导致时间信息的利用受到限制。受最近出现的状态空间模型Mamba的启发,该模型以其出色的长序列建模能力和线性计算复杂度而闻名,本研究创新性地提出了一种纯基于Mamba的框架(MambaVT),以充分利用时空上下文建模,实现稳健的可见光-热红外跟踪。具体而言,我们设计了长程跨帧融合组件,以全局适应目标外观变化,并引入短期历史轨迹提示,根据局部时间位置线索预测后续目标状态。大量实验表明,视觉Mamba在RGB-T跟踪中具有显著潜力,MambaVT在四个主流基准测试中实现了最先进的性能,同时计算成本更低。我们希望这项工作能够作为一个简单而强大的基线,激发未来在这个领域的研究。代码和预训练模型将对外公开。

代码仓库

基准测试

基准方法指标
rgb-t-tracking-on-gtotMambaVT-M256
Precision: 95.2
Success: 78.6
rgb-t-tracking-on-gtotMambaVT-S256
Precision: 94.1
Success: 75.3
rgb-t-tracking-on-lasherMambaVT-M256
Precision: 72.7
Success: 57.5
rgb-t-tracking-on-lasherMambaVT-S256
Precision: 73.0
Success: 57.9
rgb-t-tracking-on-rgbt210MambaVT-M256
Precision: 88.5
Success: 64.4
rgb-t-tracking-on-rgbt210MambaVT-S256
Precision: 88.0
Success: 63.7
rgb-t-tracking-on-rgbt234MambaVT-S256
Precision: 88.9
Success: 65.8
rgb-t-tracking-on-rgbt234MambaVT-M256
Precision: 90.7
Success: 67.5

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
MambaVT:用于鲁棒RGB-T跟踪的空间-时间上下文建模 | 论文 | HyperAI超神经