摘要

在本研究中，我们提出了一种新颖的RGB-T跟踪框架，通过联合建模外观和运动线索来实现。首先，为了获得一个鲁棒的外观模型，我们开发了一种新的后期融合方法，用于推断RGB和热（T）模态的融合权重图。融合权重由离线训练的全局和局部多模态融合网络确定，并用于线性组合RGB和T模态的响应图。其次，在外观线索不可靠时，我们全面考虑了目标和摄像机的运动线索，以增强跟踪器的鲁棒性。此外，我们还提出了一种跟踪器切换机制，可以灵活地在外观跟踪器和运动跟踪器之间进行切换。在三个最新的RGB-T跟踪数据集上的大量实验结果表明，所提出的跟踪器显著优于其他最先进的算法。