3 个月前

基于光谱-空间校正的光谱快照重建方法研究

基于光谱-空间校正的光谱快照重建方法研究

摘要

如何有效利用高光谱图像(Hyperspectral Image, HSI)的光谱与空间特征,始终是光谱快照重建中的关键问题。近年来,谱段级Transformer(spectra-wise transformer)在捕捉高光谱图像中不同谱段之间的相似性方面展现出巨大潜力,但传统的Transformer架构在光谱(通道)维度上采用多头分割(multi-head division)的设计,限制了全局光谱信息的建模能力,并导致均值效应(mean effect)问题。此外,现有方法通常采用常规的空间先验,未考虑实际成像过程,难以有效应对快照式光谱重建中特有的空间退化问题。本文针对多头分割机制的影响进行了深入分析,并提出一种新颖的光谱-空间校正(Spectral-Spatial Rectification, SSR)方法,旨在提升光谱信息的利用效率并缓解空间退化问题。具体而言,SSR方法包含两个核心模块:基于窗口的谱段级自注意力机制(Window-based Spectra-wise Self-Attention, WSSA)与空间校正块(spAtial Rectification Block, ARB)。其中,WSSA旨在捕获全局光谱相关性的同时保留局部差异性;ARB则通过空间对齐策略有效抑制空间退化。在仿真数据与真实场景下的实验结果表明,所提出的模块具有显著有效性;同时,本文还提供了多尺度模型,进一步验证了所提方法的优越性能。

基准测试

基准方法指标
spectral-reconstruction-on-caveSSR
PSNR: 40.69
SSIM: 0.978
spectral-reconstruction-on-kaistSSR
PSNR: 40.69
SSIM: 0.978
spectral-reconstruction-on-real-hsiSSR
User Study Score: 15

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于光谱-空间校正的光谱快照重建方法研究 | 论文 | HyperAI超神经