3 个月前

遥感图像语义变化检测的联合时空建模

遥感图像语义变化检测的联合时空建模

摘要

语义变化检测(Semantic Change Detection, SCD)是指在遥感图像(Remote Sensing Images, RSIs)中同时提取发生变化的区域及其变化前后的语义类别,这一任务相较于二值变化检测(Binary Change Detection, BCD)更具意义,因为它能够实现对观测区域的精细化变化分析。以往的研究通常采用三分支卷积神经网络(CNN)架构作为SCD的主流范式。然而,在变化样本数量有限的情况下,如何有效挖掘和利用语义信息仍面临挑战。为此,本文提出一种联合建模时空依赖关系的新方法,以提升SCD的检测精度。首先,我们设计了一种语义变化Transformer模型(Semantic Change Transformer, SCanFormer),显式地建模双时相遥感图像之间的“从—到”语义迁移关系;随后,引入一种语义学习机制,利用与SCD任务内在一致的时空约束条件,引导语义变化的学习过程。所提出的网络结构(SCanNet)在关键语义变化的检测能力以及双时相结果的语义一致性方面,均显著优于基线方法。该方法在两个主流基准数据集上均取得了当前最优(State-of-the-Art, SOTA)的性能表现。

代码仓库

guanyuezhen/ufcd
pytorch
GitHub 中提及
ggsding/scannet
官方
pytorch
GitHub 中提及
chenhongruixuan/mambacd
GitHub 中提及

基准测试

基准方法指标
change-detection-on-secondSCanNet
Fscd: 64.09
SeK: 23.6
mIoU: 73.05

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
遥感图像语义变化检测的联合时空建模 | 论文 | HyperAI超神经