摘要

当前大多数RGB-T跟踪器采用双流结构来提取单模态的RGB与热成像特征，并结合复杂的融合策略实现多模态特征融合，这类方法通常需要大量参数，严重制约了其在实际场景中的应用。另一方面，虽然轻量级RGB-T跟踪器具有较高的计算效率，但由于特征表达能力的削弱，往往面临显著的性能下降问题。为解决这一矛盾，本文提出一种跨模态知识蒸馏框架，旨在缩小轻量级跟踪器与高性能跟踪器之间的性能差距。具体而言，提出一种特异性-共性特征蒸馏模块，将深层双流网络中提取的模态共性信息与模态特异性信息，有效迁移至浅层单流网络中。此外，设计了一种多路径选择蒸馏模块，通过多条路径引导简单的融合模块，从精心设计的融合机制中学习更精确的多模态信息。在三个主流RGB-T基准数据集上的大量实验验证了所提方法的有效性，结果表明该方法在达到当前最优性能的同时，显著降低了计算资源消耗。