3 个月前

基于轻量级深度学习框架的音乐源分离方法(DTTNet:双路径TFC-TDF U-Net)

基于轻量级深度学习框架的音乐源分离方法(DTTNet:双路径TFC-TDF U-Net)

摘要

音乐源分离(Music Source Separation, MSS)旨在从混合音频中提取“人声”、“鼓”、“贝斯”和“其他”等独立音轨。尽管深度学习方法已取得显著成果,但当前趋势是采用参数量更大的模型。本文提出一种新颖且轻量级的网络架构——DTTNet,其基于双路径模块(Dual-Path Module)与时间-频率卷积时间分布式全连接UNet(Time-Frequency Convolution Time-Distributed Fully-connected UNet, TFC-TDF UNet)。在“人声”分离任务中,DTTNet达到10.12 dB的cSDR(信噪比增强指标),优于此前报道的Bandsplit RNN(BSRNN)的10.01 dB,同时参数量减少了86.7%。此外,本文还针对复杂音频模式下的特定模式性能表现及模型泛化能力进行了系统评估。

代码仓库

基准测试

基准方法指标
music-source-separation-on-musdb18-hqDual-Path TFC-TDF UNet (DTTNet)
SDR (avg): 8.15
SDR (bass): 7.55
SDR (drums): 7.82
SDR (others): 7.02
SDR (vocals): 10.21

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于轻量级深度学习框架的音乐源分离方法(DTTNet:双路径TFC-TDF U-Net) | 论文 | HyperAI超神经