摘要

随着视觉与语言预训练（Visual and Language Pretraining, VLP）的发展，越来越多的下游任务采用“预训练-微调”范式。尽管该范式在多种多模态下游任务中展现出巨大潜力，但在遥感领域中的应用仍面临若干挑战。具体而言，同模态嵌入倾向于聚集在一起，这一现象严重阻碍了高效迁移学习的实现。为应对这一问题，本文从统一视角重新审视多模态迁移学习在下游任务中的目标，并基于三种不同优化目标重新思考优化过程。为此，我们提出一种名为“谐调式迁移学习与模态对齐”（Harmonized Transfer Learning and Modality Alignment, HarMA）的新方法。该方法能够在满足任务约束、实现模态对齐以及保持单模态内部一致性对齐的同时，通过参数高效的微调策略显著降低训练开销。值得注意的是，HarMA无需依赖外部数据进行训练，即可在遥感领域两个主流的多模态检索任务中达到当前最优性能。实验结果表明，仅需极少量可调参数，HarMA即可实现与全量微调模型相当甚至更优的性能。由于其结构简洁、通用性强，HarMA可无缝集成至绝大多数现有的多模态预训练模型中。我们期望该方法能够推动大模型在各类下游任务中的高效应用，同时大幅降低计算资源消耗。代码已开源，地址为：https://github.com/seekerhuang/HarMA。