摘要

在归一化数字表面模型（nDSM）中蕴含的几何信息与地表覆盖的语义类别具有高度相关性。联合利用RGB图像与nDSM（高程）两种模态数据，具有显著提升语义分割性能的潜力。然而，由于以下挑战，该方向在遥感领域仍处于研究不足的状态：首先，现有数据集规模相对较小，且数据多样性有限，制约了模型验证能力；其次，缺乏统一的性能评估基准，导致不同模型之间的有效性难以进行公平比较；最后，针对遥感数据的复杂多模态语义分割方法尚未得到深入探索。为应对上述挑战，本文提出一个基于RGB-高程（RGB-H）数据的新遥感多模态语义分割基准数据集。为实现对现有方法的公平、全面分析，该基准包含以下两方面内容：1）一个大规模数据集，包含配准良好的RGB图像与nDSM图像对，以及像素级语义标签；2）对卷积神经网络与基于Transformer的网络在遥感数据上现有多种多模态融合策略的系统性评估与深入分析。此外，本文提出一种新颖且高效的基于Transformer的中间层多模态融合（Transformer-based Intermediary Multi-modal Fusion, TIMF）模块，通过自适应的令牌级别（token-level）多模态融合机制，有效提升语义分割性能。所设计的基准数据集将有力推动未来在遥感多模态学习新方法方面的研究进展。本文通过大量实验分析，深入探讨了各类方法的性能表现，并提供了具有价值的实践洞见。该基准数据集及相关基线模型的代码已开源，可访问 https://github.com/EarthNets/RSI-MMSegmentation。