摘要

多光谱行人检测对于全天候应用（如监控和自动驾驶）至关重要。我们深入分析了Faster R-CNN在多光谱行人检测任务中的表现，并将其建模为一个卷积网络（ConvNet）融合问题。进一步研究发现，分别使用彩色图像或热成像图像训练的基于ConvNet的行人检测器在区分人体实例时提供了互补的信息。因此，通过同时在深度神经网络（DNNs）中使用彩色图像和热成像图像，有较大的潜力提高行人的检测性能。我们精心设计了四种卷积网络融合架构，这些架构在不同的DNN阶段集成了双分支卷积网络，所有架构的性能均优于基线检测器。我们在KAIST行人基准数据集上的实验结果表明，中间层特征融合模型（Halfway Fusion）在中级卷积特征上进行融合，其性能比基线方法提高了11%，并且其漏检率比其他提出的架构低3.5%。