3 个月前

基于掩码视图重思遥感变化检测

基于掩码视图重思遥感变化检测

摘要

遥感变化检测旨在通过对比同一区域在不同时间点获取的两幅或多幅图像,定量与定性地评估地理实体及环境因素的变化。主流模型通常基于逐像素的变化检测范式,但由于复杂场景和成像条件差异带来的变化多样性,此类方法难以有效应对。为解决这一局限性,本文从掩码(mask)视角重新思考变化检测问题,提出相应的:1)元架构 CDMask,以及 2)面向实例的网络 CDMaskFormer。CDMask 的核心组件包括:孪生主干网络(Siamese backbone)、变化提取器(change extractor)、像素解码器(pixel decoder)、Transformer 解码器(transformer decoder)以及归一化检测器(normalized detector),共同保障掩码检测范式的有效运行。由于变化查询能够根据双时相特征内容自适应更新,所提出的 CDMask 可适应不同的潜在数据分布,从而在复杂场景中准确识别感兴趣区域的变化。在此基础上,本文进一步设计了专为变化检测任务定制的实例化网络 CDMaskFormer,其包含两个关键模块:(i) 基于时空卷积注意力的实例化变化提取器,能够在轻量级运算下同步捕捉时空上下文信息;(ii) 基于场景引导的轴向注意力实例化 Transformer 解码器,可进一步提取更精细的空间细节。在五个基准数据集上,CDMaskFormer 均实现了当前最优的性能表现,并在效率与精度之间取得了良好的平衡。相关代码已开源,地址为:https://github.com/xwmaxwma/rschange。

代码仓库

xwmaxwma/rschange
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
change-detection-on-dsifn-cdCDMaskFormer
F1: 74.75
IoU: 59.68
Overall Accuracy: 91.55
Precision: 75.96
Recall: 73.57
change-detection-on-levir-cdCDMaskFormer
F1: 90.66
IoU: 82.92
Overall Accuracy: 99.06
Precision: 92.01
Recall: 89.35
change-detection-on-sysu-cdCDMaskFormer
F1: 82.84
IoU: 70.70
Overall Accuracy: 91.47
Precision: 78.85
Recall: 87.25
change-detection-on-whu-cdCDMaskFormer
F1: 91.56
IoU: 84.44
Overall Accuracy: 99.23
Precision: 92.25
Recall: 90.89

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于掩码视图重思遥感变化检测 | 论文 | HyperAI超神经