
摘要
近年来,深度学习在多分辨率图像的全色锐化(pansharpening)任务中占据了主导地位。由于缺乏真实标签数据,大多数基于深度学习的方法在低分辨率域中进行监督训练。然而,这类在下采样图像上训练的模型在处理高分辨率目标图像时表现往往不佳。为此,多个研究团队正转向在全分辨率域中采用无监督训练策略,通过设计合理的损失函数与训练范式来提升性能。在此背景下,我们近期提出了一种适用于多种现有网络架构的全分辨率训练框架。本文进一步提出一种全新的基于深度学习的全色锐化模型,充分挖掘该方法的潜力,并实现了当前最先进的性能表现。与以往工作相比,该模型在架构上进行了多项改进,例如引入残差注意力模块;同时,提出了一种新颖的损失函数,能够协同优化全色锐化结果的光谱保真度与空间细节质量。此外,得益于一种新的微调策略,该模型显著提升了在推理阶段对目标图像的自适应能力。在多种复杂场景下对大量测试图像开展的实验表明,所提方法在数值指标和视觉效果方面均优于当前最先进的技术。相关代码已公开,可访问 https://github.com/matciotola/Lambda-PNN。
代码仓库
matciotola/lambda-pnn
官方
pytorch
GitHub 中提及
matciotola/hyperspectral_pansharpening_toolbox
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| pansharpening-on-geoeye-1-genoa | Lambda-PNN | D_lambda: 0.134 D_lambda_aligned: 0.043 D_rho: 0.054 R-ERGAS: 2.22 |
| pansharpening-on-geoeye-1-pairmax | Lambda-PNN | D_lambda: 0.049 D_lambda_aligned: 0.026 D_rho: 0.042 R-ERGAS: 3.193 |
| pansharpening-on-worldview-2-pairmax | Lambda-PNN | D_lambda: 0.055 D_lambda_aligned: 0.024 D_rho: 0.05 R-ERGAS: 2.246 |
| pansharpening-on-worldview-2-washington | Lambda-PNN | D_lambda: 0.051 D_lambda_aligned: 0.020 D_rho: 0.042 R-ERGAS: 1.291 |
| pansharpening-on-worldview-3-adelaide | Lambda-PNN | D_lambda: 0.095 D_lambda_aligned: 0.021 D_rho: 0.044 R-ERGAS: 1.978 |
| pansharpening-on-worldview-3-pairmax | Lambda-PNN | D_lambda: 0.066 D_lambda_aligned: 0.031 D_rho: 0.033 R-ERGAS: 2.526 |