HyperAIHyperAI

Command Palette

Search for a command to run...

跨模态融合Transformer用于多光谱目标检测

Fang Qingyun Han Dapeng Wang Zhaokui

摘要

多光谱图像对可以提供综合信息,使物体检测应用在开放世界中更加可靠和鲁棒。为了充分利用不同的模态,本文提出了一种简单而有效的跨模态特征融合方法,命名为跨模态融合变换器(Cross-Modality Fusion Transformer, CFT)。与之前的基于卷积神经网络(CNN)的工作不同,我们的网络在特征提取阶段通过变换器方案学习长距离依赖关系并整合全局上下文信息。更重要的是,利用变换器的自注意力机制,网络可以自然地同时进行同模态和跨模态融合,并且稳健地捕捉RGB和热红外域之间的潜在交互作用,从而显著提高多光谱物体检测的性能。广泛的实验和消融研究在多个数据集上证明了我们方法的有效性,并达到了最先进的检测性能。我们的代码和模型可在 https://github.com/DocF/multispectral-object-detection 获取。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
跨模态融合Transformer用于多光谱目标检测 | 论文 | HyperAI超神经