摘要

由于可见光图像和红外图像各自具有优缺点，RGBT（可见光-热红外）跟踪技术越来越受到关注。RGBT跟踪的关键在于可见光图像和红外图像的特征提取与特征融合。目前的RGBT跟踪方法大多关注单个特征（从单一摄像头获取的图像中提取的特征）和共同特征（从RGB摄像头和热红外摄像头中提取并融合的特征），而较少关注不同序列注册图像对中单个特征和共同特征的不同及动态贡献。本文提出了一种新的RGBT跟踪方法，称为动态融合网络（Dynamic Fusion Network, DFNet）。该方法采用双流结构，在每一层中使用两个非共享卷积核来提取单个特征。此外，DFNet在每一层还使用共享卷积核来提取共同特征。根据不同的图像对，非共享卷积核和共享卷积核被自适应加权并求和，从而使DFNet能够处理不同序列中的不同贡献问题。DFNet具有较快的速度，达到28.658帧每秒（FPS）。实验结果表明，当DFNet仅比基于非共享卷积核的融合方法增加0.02%的乘加运算量时，精确率（Precision Rate, PR）和成功率（Success Rate, SR）分别达到了88.1%和71.9%。