摘要

尽管当前最先进的场景变化检测（Scene Change Detection, SCD）方法在经过充分训练的研究数据中取得了令人印象深刻的结果，但在未见过的环境和不同的时间条件下，这些方法变得不可靠；在域内性能方面，从77.6%下降到在未见过环境中仅为8.0%，而在不同时间条件下则降至4.6%——这迫切需要一种可泛化的SCD方法及其基准测试。在这项工作中，我们提出了一个可泛化的场景变化检测框架（Generalizable Scene Change Detection Framework, GeSCF），该框架解决了未见过域的性能问题和时间一致性问题，以满足日益增长的对任何场景变化检测的需求。我们的方法以零样本方式利用了预训练的Segment Anything Model（SAM）。为此，我们设计了初始伪掩码生成和几何-语义掩码匹配技术——无缝地将用户引导的提示和基于单图像的分割转化为无需引导的一对输入之间的场景变化检测。此外，我们定义了一个可泛化的场景变化检测（GeSCD）基准测试，并引入了新的评估指标和评估协议，以促进SCD研究中的泛化能力。在此过程中，我们推出了ChangeVPR数据集，该数据集包含了一系列具有挑战性的图像对，涵盖了多样的环境情景——包括城市、郊区和农村设置。广泛的实验表明，在多个数据集中，GeSCF在现有的SCD数据集上平均性能提升了19.2%，在ChangeVPR数据集上提升了30.0%，几乎使先前的最佳性能翻倍。我们认为我们的工作可以为稳健且可泛化的SCD研究奠定坚实的基础。