4 个月前

ChangeMamba:基于时空状态空间模型的遥感变化检测

ChangeMamba:基于时空状态空间模型的遥感变化检测

摘要

卷积神经网络(CNN)和Transformer在遥感变化检测(CD)领域取得了令人印象深刻的进展。然而,这两种架构都存在固有的不足之处:CNN由于其有限的感受野可能限制了其捕捉更广泛空间上下文的能力,而Transformer计算复杂度高,使得在大规模数据集上训练和部署的成本较高。最近,基于状态空间模型的Mamba架构在一系列自然语言处理任务中展现出卓越的性能,能够有效弥补上述两种架构的不足。本文首次探讨了Mamba架构在遥感CD任务中的潜力。我们针对二值变化检测(BCD)、语义变化检测(SCD)和建筑物损毁评估(BDA)分别设计了相应的框架,称为MambaBCD、MambaSCD和MambaBDA。这三种框架均采用了前沿的Visual Mamba架构作为编码器,可以从输入图像中充分学习全局空间上下文信息。对于所有三种架构中均包含的变化解码器,我们提出了三种时空关系建模机制,这些机制可以自然地与Mamba架构结合,并充分利用其特性实现多时相特征的时空交互,从而获得准确的变化信息。在五个基准数据集上的实验结果表明,我们的框架在不使用任何复杂的训练策略或技巧的情况下优于现有的基于CNN和Transformer的方法,充分展示了Mamba架构在CD任务中的潜力。进一步的实验显示,我们的架构对退化数据具有较强的鲁棒性。源代码将在https://github.com/ChenHongruixuan/MambaCD 上提供。

代码仓库

chenhongruixuan/mambacd
官方
GitHub 中提及

基准测试

基准方法指标
2d-semantic-segmentation-on-xbdMambaBDA-Base
Classification F1-score: 0.7884
Localization F1-score: 0.8141
Weighted Average F1-score: 0.8141
change-detection-on-levirChangeMamba
F1: 88.39
IoU: 79.20
KC: 87.91
OA: 99.06
Prcision: 89.24
Recall: 87.57
change-detection-on-secondChangeMamba
Fscd: 64.03
SeK: 24.11
mIoU: 73.68
change-detection-on-sysu-cdChangeMamba
F1: 83.11
IoU: 71.10
KC: 78.13
OA: 92.30
Precision: 86.11
Recall: 80.31
change-detection-on-whu-cdChangeMamba
F1: 94.19
IoU: 89.02
KC: 93.98
Overall Accuracy: 99.58
Precision: 96.18
Recall: 92.23

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
ChangeMamba:基于时空状态空间模型的遥感变化检测 | 论文 | HyperAI超神经