3 个月前

HDNet:用于光谱压缩成像的高分辨率双域学习

HDNet:用于光谱压缩成像的高分辨率双域学习

摘要

深度学习的快速发展为高光谱图像(HSI)的端到端重建提供了更优的解决方案。然而,现有的基于学习的方法仍存在两大缺陷:其一,采用自注意力机制的网络通常为平衡模型性能与复杂度而牺牲内部分辨率,导致细粒度高分辨率(HR)特征的丢失;其二,即便针对空间-光谱域学习(SDL)的优化能够收敛至理想解,重建的HSI与真实图像之间仍存在显著的视觉差异。为此,本文提出一种高分辨率双域学习网络(HDNet)用于HSI重建。一方面,所提出的高分辨率空间-光谱注意力模块通过高效的特征融合机制,能够生成连续且精细的像素级特征;另一方面,引入频域学习(FDL)以缩小重建结果与真实图像在频域上的差异。通过动态FDL监督机制,模型被强制恢复细粒度的频率信息,有效补偿由像素级损失带来的过度平滑与失真问题。HDNet中高分辨率像素级注意力与频域级特征精炼相互促进,显著提升了HSI的感知质量。大量定量与定性评估实验表明,本方法在模拟与真实HSI数据集上均达到了当前最优(SOTA)性能。相关代码与模型将开源发布于:https://github.com/caiyuanhao1998/MST

代码仓库

caiyuanhao1998/MST-plus-plus
pytorch
GitHub 中提及
caiyuanhao1998/MST
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
spectral-reconstruction-on-arad-1kHDNet
MRAE: 0.2048
PSNR: 32.13
RMSE: 0.0317
spectral-reconstruction-on-caveHDNet
PSNR: 34.97
SSIM: 0.943
spectral-reconstruction-on-kaistHDNet
PSNR: 34.97
SSIM: 0.943
spectral-reconstruction-on-real-hsiHDNet
User Study Score: 11

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
HDNet:用于光谱压缩成像的高分辨率双域学习 | 论文 | HyperAI超神经