4 个月前

如何将变化检测简化为语义分割

如何将变化检测简化为语义分割

摘要

变化检测(CD)旨在识别在不同时间拍摄的图像对中发生的变化。以往的方法从零开始设计特定的网络以预测像素级别的变化掩模,但在解决一般的分割问题时面临挑战。本文提出了一种新的范式,将CD简化为语义分割,即调整现有的强大语义分割网络来解决CD问题。这一新范式可以方便地利用主流的语义分割技术来处理CD中的通用分割问题,因此我们可以集中精力研究如何检测变化。我们提出了一个新颖且重要的见解,即CD中存在不同的变化类型,它们应该分别进行学习。基于这一见解,我们设计了一个名为MTF(Multi-Temporal Fusion)的模块,用于提取变化信息并融合时间特征。MTF具有高可解释性,并揭示了CD的本质特征。大多数分割网络都可以通过集成我们的MTF模块来解决CD问题。最后,我们提出了C-3PO网络,用于像素级别的变化检测。C-3PO在没有复杂技巧的情况下实现了最先进的性能。它简单而有效,可以被视为该领域的新的基准模型。我们的代码位于https://github.com/DoctorKey/C-3PO。

代码仓库

DoctorKey/C-3PO
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
change-detection-on-changesim-1C-3PO
Category mIoU: 27.8
change-detection-on-pcdC-3PO
F1 score: 0.83
scene-change-detection-on-changesimC-3PO
Category mIoU: 27.8
scene-change-detection-on-pcdC-3PO (ResNet-18)
F1-score: 0.824
scene-change-detection-on-pcdC-3PO (VGG-16)
F1-score: 0.830
scene-change-detection-on-vl-cmu-cdC-3PO (VGG-16)
F1-score: 0.800
scene-change-detection-on-vl-cmu-cdC-3PO (ResNet-18)
F1-score: 0.794

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
如何将变化检测简化为语义分割 | 论文 | HyperAI超神经