摘要

多光谱图像对可以提供综合信息，使物体检测应用在开放世界中更加可靠和鲁棒。为了充分利用不同的模态，本文提出了一种简单而有效的跨模态特征融合方法，命名为跨模态融合变换器（Cross-Modality Fusion Transformer, CFT）。与之前的基于卷积神经网络（CNN）的工作不同，我们的网络在特征提取阶段通过变换器方案学习长距离依赖关系并整合全局上下文信息。更重要的是，利用变换器的自注意力机制，网络可以自然地同时进行同模态和跨模态融合，并且稳健地捕捉RGB和热红外域之间的潜在交互作用，从而显著提高多光谱物体检测的性能。广泛的实验和消融研究在多个数据集上证明了我们方法的有效性，并达到了最先进的检测性能。我们的代码和模型可在 https://github.com/DocF/multispectral-object-detection 获取。