摘要

多模态特征融合作为RGBT跟踪的核心研究组成部分，在近年来涌现了大量融合研究。然而，现有的RGBT跟踪方法普遍采用固定的融合结构来整合多模态特征，这在动态场景中难以应对各种挑战。为了解决这一问题，本文提出了一种新颖的基于注意力机制的融合路由方法，称为AFter（Attention-based Fusion router），该方法通过优化融合结构以适应动态挑战场景，从而实现鲁棒的RGBT跟踪。具体而言，我们设计了一个基于层次注意力网络的融合结构空间，每个基于注意力的融合单元对应一个融合操作，而这些注意力单元的组合则对应一个融合结构。通过优化基于注意力的融合单元组合，我们可以动态选择合适的融合结构以适应不同的挑战场景。与神经架构搜索算法中不同结构的复杂搜索不同，我们开发了一种动态路由算法，为每个基于注意力的融合单元配备一个路由器，以预测组合权重，从而高效地优化融合结构。在五个主流RGBT跟踪数据集上的广泛实验表明，所提出的AFter方法在性能上优于当前最先进的RGBT跟踪器。我们已将代码发布在 https://github.com/Alexadlu/AFter。