3 个月前

使用语音合成训练端到端语音语言理解模型

使用语音合成训练端到端语音语言理解模型

摘要

端到端模型为语音语言理解(SLU)提供了一种极具吸引力的新方法,该方法无需依赖传统的分步处理流程(即独立训练的语音识别模块与自然语言理解模块),而是直接从原始音频中推断话语的语义。然而,端到端SLU的一个局限在于,必须收集领域内的真实语音数据以训练模型。本文提出了一种克服这一限制的策略:利用语音合成技术,从多个虚拟语音合成器生成大量合成训练数据。在两个开源SLU数据集上的实验结果表明,该方法不仅可作为训练数据的独立来源,还能有效作为数据增强手段,显著提升模型性能。

代码仓库

lorenlugosch/pretrain_speech_model
pytorch
GitHub 中提及
dscripka/openwakeword
pytorch
GitHub 中提及
lorenlugosch/end-to-end-SLU
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
spoken-language-understanding-on-snipsReal + synthetic
Accuracy (%): 71.4

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
使用语音合成训练端到端语音语言理解模型 | 论文 | HyperAI超神经