3 个月前

基于光谱与空间混合先验的残差退化学习展开框架用于压缩光谱成像

基于光谱与空间混合先验的残差退化学习展开框架用于压缩光谱成像

摘要

为获取快照式光谱图像,研究提出了编码孔径快照式光谱成像(Coded Aperture Snapshot Spectral Imaging, CASSI)方法。CASSI系统的核心问题在于:如何从二维测量数据中恢复出可靠且精细的三维光谱立方体。深度展开(deep unfolding)方法通过交替求解数据保真子问题与先验子问题,取得了良好的重建性能。然而,在数据保真子问题中,所采用的感知矩阵因相位畸变、器件畸变等硬件误差,难以准确反映实际的退化过程;而在先验子问题中,设计一个能够联合利用空间与光谱先验信息的有效模型至关重要。为此,本文提出一种残差退化学习展开框架(Residual Degradation Learning Unfolding Framework, RDLUF),有效弥合了感知矩阵与真实退化过程之间的差距。此外,本文进一步设计了一种混合空间-光谱Transformer(Mix$S^2$ Transformer),通过在光谱维度与空间维度之间融合先验信息,显著增强了光谱-空间联合表征能力。最终,将Mix$S^2$ Transformer嵌入RDLUF框架,构建了一个端到端可训练的神经网络模型——RDLUF-Mix$S^2$。实验结果表明,所提出方法在重建性能上显著优于现有主流方法。

代码仓库

基准测试

基准方法指标
spectral-reconstruction-on-caveRDLUF
PSNR: 39.57
SSIM: 0.974
spectral-reconstruction-on-kaistRDLUF
PSNR: 39.57
SSIM: 0.974

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于光谱与空间混合先验的残差退化学习展开框架用于压缩光谱成像 | 论文 | HyperAI超神经