3 个月前

CM-Net:一种用于语音语言理解的新型协同记忆网络

CM-Net:一种用于语音语言理解的新型协同记忆网络

摘要

语音语言理解(Spoken Language Understanding, SLU)主要包含意图识别与槽位填充两项任务,现有研究通常将二者联合建模。然而,大多数现有模型未能充分挖掘槽位与意图之间的共现关系,从而限制了其性能潜力。为解决这一问题,本文提出一种基于新型模块——CM-block的协同记忆网络(Collaborative Memory Network, CM-Net)。CM-block首先以协作方式从记忆中提取与槽位相关及与意图相关的特征,随后利用这些增强后的特征来提升局部上下文表示,进而通过序列信息流生成更具针对性的全局话语表示(涵盖槽位与意图)。通过堆叠多个CM-block,CM-Net能够实现特定记忆、局部上下文与全局话语之间的交替信息交互,从而实现逐步增强与互补。我们在两个标准基准数据集(ATIS与SNIPS)以及自收集的语料库(CAIS)上对CM-Net进行了评估。实验结果表明,CM-Net在ATIS与SNIPS数据集上多数指标均达到当前最优水平,且在CAIS数据集上显著优于基线模型。此外,本文已将CAIS数据集公开,以供学术界研究使用。

代码仓库

基准测试

基准方法指标
intent-detection-on-caisCM-Net
Acc: 94.56
slot-filling-on-caisCM-Net
F1: 86.16

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
CM-Net:一种用于语音语言理解的新型协同记忆网络 | 论文 | HyperAI超神经