摘要

多光谱行人检测在诸多应用中具有重要且宝贵的价值，通过融合可见光与热成像的互补视觉信息，能够实现更精确、更可靠的行人检测结果。然而，该任务仍面临两个开放且棘手的挑战：其一，如何根据各模态的置信度，有效且动态地融合多光谱信息；其二，如何生成可靠的检测预测结果。为此，本文提出一种新型的置信度感知多光谱行人检测方法（Confidence-aware Multispectral Pedestrian Detection, CMPD），该方法在灵活学习多光谱表征的同时，能够同步输出具有置信度估计的可靠检测结果。具体而言，本文首先提出一种密集融合策略，在特征层级上提取多层次的多光谱表示；随后引入一个额外的置信度子网络，动态估计各模态的检测置信度；最后，采用Dempster组合规则，根据校准后的置信度对不同分支的检测结果进行融合。所提出的CMPD方法不仅能够高效整合多模态信息，还能提供可信的预测结果。大量实验结果表明，与当前最先进的方法相比，本方法在检测性能上具有显著优势。