摘要

现有的光谱重建（SR）领先方法主要集中在设计更深或更宽的卷积神经网络（CNN），以学习从RGB图像到其高光谱图像（HSI）的端到端映射。这些基于CNN的方法在恢复性能方面取得了令人印象深刻的结果，但在捕捉长距离依赖性和自相似先验方面表现出局限性。为了解决这一问题，我们提出了一种新颖的基于Transformer的方法——多阶段光谱感知Transformer（MST++），用于高效的光谱重建。具体而言，我们采用了基于HSI空间稀疏而光谱自相似特性的光谱感知多头自注意力机制（S-MSA），构建了基本单元——光谱感知注意力块（SAB）。随后，多个SAB模块组成了单阶段光谱感知Transformer（SST），利用U形结构提取多分辨率上下文信息。最终，我们的MST++通过级联多个SST模块，逐步从粗到细提高重建质量。大量实验表明，我们的MST++显著优于其他最先进方法。在NTIRE 2022光谱重建挑战赛中，我们的方法荣获第一名。代码和预训练模型已公开发布在https://github.com/caiyuanhao1998/MST-plus-plus。