摘要

多光谱行人检测通过融合颜色与热成像模态，能够有效应对光照不足的挑战。然而，现有方法在如何高效融合这两种模态方面仍缺乏深入的理解。与传统行人检测相比，我们发现多光谱行人检测存在模态不平衡问题，这一问题会阻碍双模态网络的优化过程，并显著降低检测器的性能。基于这一观察，我们提出了一种新型的模态平衡网络（Modality Balance Network, MBNet），以更灵活、更均衡的方式促进网络优化。首先，我们设计了一种新颖的差异模态感知融合（Differential Modality Aware Fusion, DMAF）模块，使两种模态能够相互补充。其次，提出了一种光照感知特征对齐模块，能够根据光照条件动态选择互补特征，并自适应地对齐两种模态的特征表示。大量实验结果表明，MBNet在具有挑战性的KAIST和CVC-14多光谱行人检测数据集上，均在检测精度和计算效率方面优于当前最先进的方法。代码已开源，地址为：https://github.com/CalayZhou/MBNet。