摘要

近年来，融合可见光（RGB）与热红外（IR）图像的物体检测技术受到广泛关注，并已在众多领域得到广泛应用。通过充分利用RGB与IR图像之间的互补特性，该方法能够在从白天到夜晚的多种光照条件下实现稳定且鲁棒的物体定位。然而，现有大多数多模态物体检测方法直接将RGB与IR图像输入深度神经网络，导致检测性能受限。我们认为，这一问题不仅源于多模态信息高效融合的技术挑战，更在于RGB与IR模态中均存在冗余特征。各模态中的冗余信息会在特征融合过程中加剧融合不精确的问题。为解决该问题，我们借鉴人类大脑处理多模态信息的机制，提出一种新颖的“粗粒度到细粒度”特征净化与融合策略。具体而言，依据该策略，我们设计了“冗余谱消除模块”（Redundant Spectrum Removal Module），用于粗略去除各模态内部的干扰信息；同时设计“动态特征选择模块”（Dynamic Feature Selection Module），用于精细筛选适用于融合的目标特征。为验证该粗粒度到细粒度融合策略的有效性，我们构建了一种新型物体检测器——“先去除后选择检测器”（Removal then Selection Detector, RSDet）。在三个公开的RGB-IR物体检测数据集上的大量实验结果表明，所提方法在检测性能上显著优于现有方法，展现出优越的鲁棒性与准确性。