摘要

我们专注于声景映射（soundscape mapping）任务，该任务旨在预测在特定地理位置最可能被感知到的声音。我们采用最新的先进模型，通过对比学习（contrastive pre-training）对带有地理标签的音频、音频的文本描述以及其采集位置的航拍图像进行编码，从而构建三模态共享的嵌入空间。这一共享空间使得我们能够基于文本或音频查询，为任意地理区域生成声景地图。在SoundingEarth数据集上的实验表明，我们的方法显著优于现有最先进（SOTA）技术，图像到音频的Recall@100指标从0.256提升至0.450。相关代码已开源，地址为：https://github.com/mvrl/geoclap。