HyperAIHyperAI

Command Palette

Search for a command to run...

基于零样本的声景映射学习三模态嵌入

Subash Khanal Srikumar Sastry Aayush Dhakal Nathan Jacobs

摘要

我们专注于声景映射(soundscape mapping)任务,该任务旨在预测在特定地理位置最可能被感知到的声音。我们采用最新的先进模型,通过对比学习(contrastive pre-training)对带有地理标签的音频、音频的文本描述以及其采集位置的航拍图像进行编码,从而构建三模态共享的嵌入空间。这一共享空间使得我们能够基于文本或音频查询,为任意地理区域生成声景地图。在SoundingEarth数据集上的实验表明,我们的方法显著优于现有最先进(SOTA)技术,图像到音频的Recall@100指标从0.256提升至0.450。相关代码已开源,地址为:https://github.com/mvrl/geoclap


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于零样本的声景映射学习三模态嵌入 | 论文 | HyperAI超神经