4 个月前

多光谱融合用于目标检测的循环融合与精炼块

多光谱融合用于目标检测的循环融合与精炼块

摘要

多光谱图像(例如可见光和红外图像)在检测不同环境中的相同模型对象时(例如白天/夜晚的室外场景)可能特别有用。为了有效利用不同的光谱,主要的技术问题在于信息融合过程。本文中,我们提出了一种新的半融合特征方法,该方法通过在网络架构中添加一个特定模块来周期性地融合和精炼每个光谱特征,从而利用多光谱特征中存在的互补性和一致性平衡。我们在两个具有挑战性的多光谱数据集上评估了我们融合方法的有效性,这些数据集用于目标检测。实验结果表明,在任何网络中实现我们的周期性融合与精炼模块,其性能均优于其他最先进的多光谱目标检测方法。

代码仓库

ZHANGHeng19931123/CFR
官方
GitHub 中提及

基准测试

基准方法指标
multispectral-object-detection-on-flir-1Halfway Fusion (VGG16)
mAP50: 71.2%
multispectral-object-detection-on-flir-1CFR_3 (VGG16)
mAP50: 72.4%
multispectral-object-detection-on-kaistCFR
Reasonable Miss Rate: 6.13

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
多光谱融合用于目标检测的循环融合与精炼块 | 论文 | HyperAI超神经