3 个月前

DIDFuse:面向红外与可见光图像融合的深度图像分解方法

DIDFuse:面向红外与可见光图像融合的深度图像分解方法

摘要

红外与可见光图像融合是图像处理领域的一个研究热点,其目标是生成融合图像,以保留源图像各自的优点。本文提出了一种基于新型自编码器(Auto-Encoder, AE)的融合网络。其核心思想是:编码器将输入图像分解为分别包含低频信息和高频信息的背景特征图与细节特征图,而解码器则负责重构原始图像。为此,所设计的损失函数促使源图像的背景特征图趋于相似,而细节特征图则趋于差异。在测试阶段,背景与细节特征图分别通过融合模块进行融合,随后由解码器恢复生成最终的融合图像。定性与定量实验结果表明,所提方法能够生成具有显著目标突出、丰富细节纹理信息的融合图像,且具备较强的鲁棒性,同时在性能上超越现有最先进(State-of-the-Art, SOTA)方法。

代码仓库

Zhaozixiang1228/IVIF-AUIF-Net
pytorch
GitHub 中提及
Zhaozixiang1228/IVIF-DIDFuse
pytorch
GitHub 中提及

基准测试

基准方法指标
semantic-segmentation-on-fmb-datasetDIDFuse (RGB-Infrared)
mIoU: 50.60

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
DIDFuse:面向红外与可见光图像融合的深度图像分解方法 | 论文 | HyperAI超神经