3 个月前

Open-Unmix - 音乐源分离的参考实现

Open-Unmix - 音乐源分离的参考实现

摘要

音乐源分离是指将音乐信号分解为其组成部分的任务,例如分离出人声、贝斯和鼓等独立音轨。这种分离技术具有广泛的应用场景,包括对音轨进行重新编排或再利用(如混音、重配乐、升混),以及实现完整的音源提取(如卡拉OK制作、音频采样生成、音频修复等)。音乐分离问题自科学界研究以来已有较长历史,因其极高的技术难度而广为人知。近年来,基于深度学习的系统首次实现了高质量的分离效果,从而引发了业界的广泛关注与商业兴趣。然而,迄今为止,尚无开源实现能够达到当前最先进的性能水平。Open-Unmix 正是为填补这一空白而设计,它基于深度神经网络提供了一个参考实现。该系统主要服务于两大目标:其一,加速学术研究进程。Open-Unmix 支持目前最流行的深度学习框架,使研究人员能够灵活复现研究成果,提升实验效率;其二,我们为普通用户乃至音乐创作者提供了预训练模型,便于其直接尝试并应用音源分离技术。此外,Open-Unmix 的设计定位为开放音乐分离生态系统的核心组件,我们已同步提供开放数据集、软件工具和开放评估机制,旨在推动可复现的研究,为未来技术发展奠定坚实基础。

基准测试

基准方法指标
music-source-separation-on-musdb18UMXL
SDR (avg): 6.316
SDR (bass): 6.015
SDR (drums): 7.148
SDR (other): 4.889
SDR (vocals): 7.213
music-source-separation-on-musdb18UMX
SDR (avg): 5.33
SDR (bass): 5.23
SDR (drums): 5.73
SDR (other): 4.02
SDR (vocals): 6.32

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
Open-Unmix - 音乐源分离的参考实现 | 论文 | HyperAI超神经