摘要

RGBT跟踪技术已被广泛应用于机器人学、监控处理和自动驾驶等多个领域。现有的RGBT跟踪器充分挖掘了模板与搜索区域之间的空间信息，并根据外观匹配结果定位目标。然而，这些RGBT跟踪器对时间信息的利用非常有限，要么完全忽略时间信息，要么通过在线采样和训练来利用时间信息。前者难以应对对象状态的变化，而后者则忽视了空间信息与时间信息之间的相关性。为缓解这些局限性，我们提出了一种新颖的时序自适应RGBT跟踪框架，命名为TATrack。TATrack采用时空双流结构，通过在线更新的模板捕捉时间信息，其中双流结构分别指初始模板和在线更新模板的多模态特征提取和跨模态交互。TATrack有助于全面利用时空信息和多模态信息进行目标定位。此外，我们设计了一种时空交互（Spatio-Temporal Interaction, STI）机制，该机制连接了两个分支，并使跨模态交互能够跨越更长的时间尺度。在三个流行的RGBT跟踪基准数据集上的大量实验表明，我们的方法达到了最先进的性能，并且能够在实时速度下运行。