
摘要
端到端模型为语音语言理解(SLU)提供了一种极具吸引力的新方法,该方法无需依赖传统的分步处理流程(即独立训练的语音识别模块与自然语言理解模块),而是直接从原始音频中推断话语的语义。然而,端到端SLU的一个局限在于,必须收集领域内的真实语音数据以训练模型。本文提出了一种克服这一限制的策略:利用语音合成技术,从多个虚拟语音合成器生成大量合成训练数据。在两个开源SLU数据集上的实验结果表明,该方法不仅可作为训练数据的独立来源,还能有效作为数据增强手段,显著提升模型性能。
代码仓库
lorenlugosch/pretrain_speech_model
pytorch
GitHub 中提及
dscripka/openwakeword
pytorch
GitHub 中提及
lorenlugosch/end-to-end-SLU
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| spoken-language-understanding-on-snips | Real + synthetic | Accuracy (%): 71.4 |