3 个月前

基于Reptile的端到端语音到意图分类性能提升

基于Reptile的端到端语音到意图分类性能提升

摘要

端到端语音语言理解(Spoken Language Understanding, SLU)系统相较于传统的流水线式系统具有诸多优势,但其训练通常需要大量领域内语音数据,而这类数据的收集成本高且耗时长。由此引出一个关键问题:如何在数据量有限的情况下训练端到端SLU系统?目前,许多研究者尝试利用其他相关数据资源来缓解这一问题,通常通过在高资源语音识别任务上对模型的部分组件进行预训练来实现。本文提出一种非标准的学习算法——Reptile,用于提升SLU模型的泛化能力。尽管Reptile最初是为模型无关的元学习(model-agnostic meta learning)而设计,但我们认为它也可直接用于目标任务的学习,并在泛化性能上优于传统的梯度下降方法。在本研究中,我们将Reptile应用于端到端语音意图分类任务。在四种不同语言和领域的数据集上的实验结果表明,无论单独使用Reptile,还是将其与预训练方法结合使用,均能有效提升意图预测的准确率。

基准测试

基准方法指标
spoken-language-understanding-on-fluentReptile
Accuracy (%): 99.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于Reptile的端到端语音到意图分类性能提升 | 论文 | HyperAI超神经