3 个月前

基于无监督深度学习的多光谱图像融合方法:联合增强光谱与空间保真度

基于无监督深度学习的多光谱图像融合方法:联合增强光谱与空间保真度

摘要

近年来,深度学习在多分辨率图像的全色锐化(pansharpening)任务中占据了主导地位。由于缺乏真实标签数据,大多数基于深度学习的方法在低分辨率域中进行监督训练。然而,这类在下采样图像上训练的模型在处理高分辨率目标图像时表现往往不佳。为此,多个研究团队正转向在全分辨率域中采用无监督训练策略,通过设计合理的损失函数与训练范式来提升性能。在此背景下,我们近期提出了一种适用于多种现有网络架构的全分辨率训练框架。本文进一步提出一种全新的基于深度学习的全色锐化模型,充分挖掘该方法的潜力,并实现了当前最先进的性能表现。与以往工作相比,该模型在架构上进行了多项改进,例如引入残差注意力模块;同时,提出了一种新颖的损失函数,能够协同优化全色锐化结果的光谱保真度与空间细节质量。此外,得益于一种新的微调策略,该模型显著提升了在推理阶段对目标图像的自适应能力。在多种复杂场景下对大量测试图像开展的实验表明,所提方法在数值指标和视觉效果方面均优于当前最先进的技术。相关代码已公开,可访问 https://github.com/matciotola/Lambda-PNN。

代码仓库

matciotola/lambda-pnn
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
pansharpening-on-geoeye-1-genoaLambda-PNN
D_lambda: 0.134
D_lambda_aligned: 0.043
D_rho: 0.054
R-ERGAS: 2.22
pansharpening-on-geoeye-1-pairmaxLambda-PNN
D_lambda: 0.049
D_lambda_aligned: 0.026
D_rho: 0.042
R-ERGAS: 3.193
pansharpening-on-worldview-2-pairmaxLambda-PNN
D_lambda: 0.055
D_lambda_aligned: 0.024
D_rho: 0.05
R-ERGAS: 2.246
pansharpening-on-worldview-2-washingtonLambda-PNN
D_lambda: 0.051
D_lambda_aligned: 0.020
D_rho: 0.042
R-ERGAS: 1.291
pansharpening-on-worldview-3-adelaideLambda-PNN
D_lambda: 0.095
D_lambda_aligned: 0.021
D_rho: 0.044
R-ERGAS: 1.978
pansharpening-on-worldview-3-pairmaxLambda-PNN
D_lambda: 0.066
D_lambda_aligned: 0.031
D_rho: 0.033
R-ERGAS: 2.526

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于无监督深度学习的多光谱图像融合方法:联合增强光谱与空间保真度 | 论文 | HyperAI超神经