摘要

自监督预训练具有在无需人工标注的情况下生成富有表现力表征的巨大潜力。目前地球观测（Earth Observation, EO）领域的大多数预训练方法均基于ImageNet或中等规模的有标签遥感（Remote Sensing, RS）数据集。为此，我们发布了一个全新的无标签遥感数据集SSL4EO-S12（Self-Supervised Learning for Earth Observation - Sentinel-1/2），旨在整合欧洲航天局（ESA）Sentinel-1与Sentinel-2卫星任务所获取的全球范围、多模态、多季节的大型卫星影像语料库。在地球观测应用中，我们验证了SSL4EO-S12在多种自监督学习方法上的有效性，包括MoCo-v2、DINO、MAE和data2vec。基于该数据集预训练所得模型，在下游任务中的表现接近甚至超越了传统监督学习的精度水平。此外，相较于现有数据集，SSL4EO-S12在预训练效果上展现出显著优势。我们已将该数据集、相关源代码及预训练模型公开发布，访问地址为：https://github.com/zhu-xlab/SSL4EO-S12。