3 个月前

基于对比学习的深度隐变量掩码音乐源分离

基于对比学习的深度隐变量掩码音乐源分离

摘要

近年来,音乐源分离研究已拓展至通用音频信号的处理领域。为实现自定义均衡器等个性化服务,或在直播流媒体中应用多样化的音频效果,实时音乐源分离技术显得尤为必要。然而,由于大多数现有方法存在计算复杂度高、内存占用大或延迟较长等问题,难以满足实时应用需求。为解决上述挑战,本文提出一种基于Wave-U-Net架构的音乐源分离网络,该网络采用高维掩码机制对深层潜在空间特征进行建模。同时,引入一种基于掩码的对比学习策略,以有效估计各目标音源在潜在空间中的显著嵌入表示。在MUSDB18HQ数据集上的实验评估表明,所提模型在保证实时处理能力的同时,性能优于多个现有基准模型。

基准测试

基准方法指标
music-source-separation-on-musdb18DLMNet
SDR (avg): 6.47
SDR (bass): 7.29
SDR (drums): 7.05
SDR (other): 4.62
SDR (vocals): 6.91

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于对比学习的深度隐变量掩码音乐源分离 | 论文 | HyperAI超神经