
摘要
高光谱图像分类因其能够捕捉宽谱段连续范围内的视觉信息,在遥感领域的高精度视觉任务中日益受到关注。研究人员一直在致力于实现高光谱图像分类的自动化,近年来已有研究尝试采用视觉Transformer(Vision-Transformers)架构。然而,现有大多数模型仅关注光谱信息,忽视了局部上下文(即邻近像素)的特征,导致表征能力不足,限制了分类性能的提升。为解决这一问题,本文提出三项主要贡献:i)提出一种新型视觉Transformer——高光谱局部感知图像变换器(Hyperspectral Locality-aware Image TransformEr, HyLITE),能够同时建模局部空间特征与光谱信息;ii)设计一种新颖的正则化函数,有效促进局部信息向全局信息的融合;iii)所提出的方法在多个基准数据集上显著优于现有基线模型,分类准确率最高提升达10%。相关训练模型与代码已公开发布于HyLITE项目主页。
代码仓库
zhoufangqin/hylite
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| hyperspectral-image-classification-on-houston | HyLITE | OA@15perclass: 88.49 |
| hyperspectral-image-classification-on-indian | HyLITE | OA@15perclass: 89.80 Overall Accuracy: 89.80 |
| hyperspectral-image-classification-on-pavia | HyLITE | OA@15perclass: 91.28 |