摘要

由于标注数据的稀缺性，使用在ImageNet上预训练的监督模型已成为遥感场景分类领域的事实标准。然而，近年来高分辨率遥感（HRRS）图像数据集的规模不断扩大，自监督学习技术也取得了显著进展，这引发了两个关键问题：在遥感场景分类任务中，是否仍有必要依赖ImageNet上的监督预训练？相较于在ImageNet上进行监督预训练，使用HRRS图像数据集进行监督预训练，或在ImageNet上进行自监督预训练，哪种方式能在目标遥感场景分类任务上取得更优性能？为回答上述问题，本文在多个HRRS图像数据集上，系统地进行了从零开始训练模型、微调在ImageNet上预训练的监督模型以及微调自监督学习模型的实验。同时，我们评估了所学表征在HRRS场景分类任务中的迁移能力，结果表明：自监督预训练的性能优于监督预训练，而HRRS数据集上的监督预训练表现与自监督预训练相当，或略低。最终，本文提出一种“领域自适应预训练”策略，即先使用ImageNet预训练模型，再在领域内HRRS图像上进行第二轮预训练。实验结果表明，该方法所得到的模型在HRRS场景分类基准测试中达到了当前最优水平。相关源代码及预训练模型已公开，可访问：\url{https://github.com/risojevicv/RSSC-transfer}。