3 个月前

MISCA:一种基于意图-槽位协同注意力机制的多意图检测与槽位填充联合模型

MISCA:一种基于意图-槽位协同注意力机制的多意图检测与槽位填充联合模型

摘要

检测多重意图并填充槽位的研究正日益受到关注,这主要源于其在复杂现实场景中的高度相关性。近年来,基于图结构的联合模型虽取得了显著进展,但仍面临两个潜在问题:(i)基于初步意图和槽位信息构建图结构时引入的不确定性,可能导致意图-槽位关联信息被错误地传递至不正确的标签节点,从而影响模型性能;(ii)在每个词元(token)层面直接引入多个意图标签进行意图投票,可能引发槽位预测错误,进而损害整体性能。为解决上述问题,我们提出一种名为MISCA的联合模型。MISCA引入了意图-槽位协同注意力机制以及底层的标签注意力机制。这些机制使模型能够有效捕捉意图与槽位标签之间的关联关系,无需依赖图结构的构建。同时,通过多层次的标签特异性表示,实现了意图与槽位之间双向的信息传递:既可从意图到槽位,也可从槽位到意图,且不依赖于词元级别的意图信息。实验结果表明,MISCA在两个基准数据集MixATIS和MixSNIPS上均取得了新的最先进(SOTA)整体准确率表现,显著优于现有模型。这一结果充分验证了所提出注意力机制的有效性。

代码仓库

vinairesearch/misca
官方
pytorch

基准测试

基准方法指标
intent-detection-on-mixatisMISCA
Accuracy: 76.7
intent-detection-on-mixsnipsMISCA
Accuracy: 97.3
slot-filling-on-mixatisMISCA
Micro F1: 90.5
slot-filling-on-mixsnipsMISCA
Micro F1: 95.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
MISCA:一种基于意图-槽位协同注意力机制的多意图检测与槽位填充联合模型 | 论文 | HyperAI超神经