HyperAIHyperAI

Command Palette

Search for a command to run...

基于模板的RGB-T跟踪中的搜索区域交互建模

Si Liu Jizhong Han Jiao Dai Xiaolin Wei Xiaoming Wei Junshi Huang Fengguang Peng Zizheng Xun Tianrui Hui

摘要

RGB-T跟踪旨在利用RGB与热红外(TIR)模态之间的相互增强与互补特性,以提升在多种场景下的跟踪性能,其中跨模态交互是关键环节。以往的一些方法直接拼接RGB与TIR搜索区域的特征,虽实现了粗粒度的交互,但引入了冗余的背景噪声。另一些方法则从搜索帧中采样候选区域框,并对独立的RGB与TIR框对进行各类融合操作,这种策略将跨模态交互限制在局部区域内,导致上下文建模不足。为缓解上述局限,本文提出一种新颖的模板桥接搜索区域交互(Template-Bridged Search region Interaction, TBSI)模块,该模块以模板为媒介,通过聚合与分发与目标相关的目标对象及环境上下文信息,实现RGB与TIR搜索区域间的有效跨模态交互。同时,原始模板也通过该媒介获取更丰富的多模态上下文信息,从而实现动态更新。TBSI模块被嵌入到ViT骨干网络中,协同完成特征联合提取、搜索区域与模板匹配以及跨模态交互。在三个主流RGB-T跟踪基准上的大量实验表明,所提方法取得了新的最先进性能。代码已开源,地址为:https://github.com/RyanHTR/TBSI


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于模板的RGB-T跟踪中的搜索区域交互建模 | 论文 | HyperAI超神经