4 个月前

SepIt:逼近单通道语音分离的极限

SepIt:逼近单通道语音分离的极限

摘要

我们提出了一种单通道语音分离任务的上界估计,该估计基于对短语音片段性质的假设。利用这一上界,我们能够证明尽管最近的方法在少数说话人的分离上取得了显著进展,但在五人和十人说话人的分离方面仍有改进空间。随后,我们介绍了一种深度神经网络——SepIt,该网络通过迭代过程逐步提高不同说话人的估计精度。在测试时,SepIt 根据从我们的分析中得出的互信息准则(mutual information criterion),为每个测试样本动态调整迭代次数。在一系列广泛的实验中,SepIt 在 2 人、3 人、5 人和 10 人说话人的分离任务中均优于当前最先进的神经网络。

基准测试

基准方法指标
speech-separation-on-libri10mixSepIt
SI-SDRi: 8.2
speech-separation-on-libri5mixSepIt
SI-SDRi: 13.7
speech-separation-on-wsj0-2mixSepIt
SI-SDRi: 22.4
speech-separation-on-wsj0-3mixSepIt
SI-SDRi: 20.1

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
SepIt:逼近单通道语音分离的极限 | 论文 | HyperAI超神经