
摘要
多光谱图像(例如可见光和红外图像)在检测不同环境中的相同模型对象时(例如白天/夜晚的室外场景)可能特别有用。为了有效利用不同的光谱,主要的技术问题在于信息融合过程。本文中,我们提出了一种新的半融合特征方法,该方法通过在网络架构中添加一个特定模块来周期性地融合和精炼每个光谱特征,从而利用多光谱特征中存在的互补性和一致性平衡。我们在两个具有挑战性的多光谱数据集上评估了我们融合方法的有效性,这些数据集用于目标检测。实验结果表明,在任何网络中实现我们的周期性融合与精炼模块,其性能均优于其他最先进的多光谱目标检测方法。
代码仓库
ZHANGHeng19931123/CFR
官方
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| multispectral-object-detection-on-flir-1 | Halfway Fusion (VGG16) | mAP50: 71.2% |
| multispectral-object-detection-on-flir-1 | CFR_3 (VGG16) | mAP50: 72.4% |
| multispectral-object-detection-on-kaist | CFR | Reasonable Miss Rate: 6.13 |