3 个月前

pyannote.audio:说话人分离的神经学构建模块

pyannote.audio:说话人分离的神经学构建模块

摘要

我们推出了 pyannote.audio,这是一个基于 Python 编写的开源工具包,专用于说话人分割(speaker diarization)。该工具包基于 PyTorch 机器学习框架,提供了一系列可训练的端到端神经模块,这些模块可灵活组合并联合优化,用于构建高效的说话人分割流水线。此外,pyannote.audio 配备了覆盖多种应用场景的预训练模型,涵盖语音活动检测(voice activity detection)、说话人切换检测(speaker change detection)、重叠语音检测(overlapped speech detection)以及说话人嵌入(speaker embedding)等任务,其在大多数任务上均达到了当前最优(state-of-the-art)的性能水平。

代码仓库

基准测试

基准方法指标
speaker-diarization-on-amipyannote (MFCC)
DER(%): 6.3
FA: 3.5
Miss: 2.7
speaker-diarization-on-amipyannote (waveform)
DER(%): 6.0
FA: 3.6
Miss: 2.4
speaker-diarization-on-dihard-1pyannote (MFCC)
DER(%): 10.5
FA: 6.8
Miss: 3.7
speaker-diarization-on-dihard-1Baseline (the best result in the literature as of Oct.2019)
DER(%): 11.2
FA: 6.5
Miss: 4.7
speaker-diarization-on-dihard-1pyannote (waveform)
DER(%): 9.9
FA: 5.7
Miss: 4.2
speaker-diarization-on-etapeBaseline
DER(%): 7.7
FA: 7.5
Miss: 0.2
speaker-diarization-on-etapepyannote (MFCC)
DER(%): 5.6
FA: 5.2
Miss: 0.4
speaker-diarization-on-etapepyannote (waveform)
DER(%): 4.9
FA: 4.2
Miss: 0.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
pyannote.audio:说话人分离的神经学构建模块 | 论文 | HyperAI超神经