
摘要
遥感图像因其固有的复杂性,为下游任务带来了独特的挑战。尽管已有大量研究致力于遥感图像的分类、目标检测与语义分割,但多数工作忽视了遥感场景中蕴含的宝贵先验知识。这些先验知识具有重要价值,因为遥感目标在缺乏充分长距离上下文信息的情况下,容易被误识别,而不同目标所依赖的上下文范围可能存在差异。本文针对此类先验知识提出了一种轻量级的大型选择性卷积核网络(Lightweight Selective Kernel Network, LSKNet)主干网络。LSKNet能够动态调整其大范围空间感受野,从而更有效地建模遥感场景中各类目标的远距离上下文关系。据我们所知,大型选择性卷积核机制此前尚未在遥感图像领域得到探索。在不依赖复杂技巧的前提下,所提出的轻量级LSKNet在标准遥感图像分类、目标检测与语义分割基准上均取得了新的最先进性能。全面的实验分析进一步验证了所识别先验知识的重要性以及LSKNet的有效性。代码已开源,地址为:https://github.com/zcablii/LSKNet。
代码仓库
zcablii/Large-Selective-Kernel-Network
pytorch
GitHub 中提及
zcablii/lsknet
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| change-detection-on-levir-cd | LSKNet | F1: 92.27 F1-score: 92.27 IoU: 85.65 Precision: 93.34 Recall: 91.23 |
| change-detection-on-s2looking | LSKNet-S | F1-Score: 67.52 IoU: 50.96 Precision: 71.90 Recall: 63.64 |
| object-detection-in-aerial-images-on-dota-1 | LSKNet-T | mAP: 81.37% |
| object-detection-in-aerial-images-on-dota-1 | LSKNet-S* | mAP: 81.85% |
| object-detection-in-aerial-images-on-dota-1 | LSKNet-S | mAP: 81.64% |
| semantic-segmentation-on-isprs-potsdam | LSKNet-S | Mean F1: 93.1 Mean IoU: 87.2 Overall Accuracy: 92.0 |
| semantic-segmentation-on-isprs-vaihingen | LSKNet-T | Average F1: 91.7 Category mIoU: 84.9 Overall Accuracy: 93.6 |
| semantic-segmentation-on-isprs-vaihingen | LSKNet-S | Average F1: 91.8 Category mIoU: 85.1 Overall Accuracy: 93.6 |
| semantic-segmentation-on-uavid | LSKNet-S | Mean IoU: 70.0 |
| semantic-segmentation-on-uavid | LSKNet-T | Mean IoU: 69.3 |