摘要

RGBT跟踪通常面临快速运动、尺度变化、光照变化、热交叉以及遮挡等多种挑战性因素。现有方法多采用统一的融合模型试图同时应对所有挑战，这要求融合模型具备较高的复杂度，并依赖大规模训练数据，因而往往难以在真实场景中有效构建。本文通过解耦融合过程与各类挑战属性之间的关联，提出一种新型的基于属性的渐进式融合网络（Attribute-Based Progressive Fusion Network, APFNet），在参数量较少的前提下显著提升融合能力，同时降低对大规模训练数据的依赖。具体而言，我们设计了五个针对特定属性的融合分支，分别用于在热交叉、光照变化、尺度变化、遮挡和快速运动等不同挑战下融合RGB与热红外特征。通过解耦融合过程，每个分支仅需少量参数即可实现对多模态特征的鲁棒融合，并可基于带有对应属性标注的小规模训练子集进行独立训练。为进一步实现各分支特征的自适应融合，我们引入基于SKNet的聚合融合模块。此外，还设计了一种增强型融合Transformer，用于强化聚合后的特征以及模态特异性特征。在多个基准数据集上的实验结果表明，所提出的APFNet在性能上优于现有主流方法，验证了其有效性与优越性。