3 个月前

LIDSNet:一种基于深度孪生网络的轻量级本地化意图检测模型

LIDSNet:一种基于深度孪生网络的轻量级本地化意图检测模型

摘要

意图识别是任何自然语言理解(Natural Language Understanding, NLU)系统中的关键任务,也是面向任务对话系统的基础。为了在边缘设备上构建高质量的现实应用场景对话解决方案,亟需将意图识别模型部署至设备端。这要求模型具备轻量化、高效且高精度的特点,能够在资源受限的环境中稳定运行。为此,我们提出了一种新型轻量级设备端意图识别模型——LIDSNet。该模型通过引入深度孪生网络(Deep Siamese Network)学习更优的句子表示,从而实现对用户输入意图的精准预测。同时,我们利用字符级特征增强句子级表示,并通过实证研究验证了使用预训练嵌入进行迁移学习所带来的性能优势。为进一步评估所提架构中各模块的有效性,我们开展了消融实验,最终确定了最优模型结构。实验结果表明,LIDSNet在SNIPS和ATIS两个公开数据集上分别取得了98.00%和95.97%的先进水平准确率,且模型参数量低于0.59M。此外,我们将LIDSNet与微调后的BERT系列模型进行对比,在三星Galaxy S20设备上的推理性能测试显示,我们的模型在参数量上至少比MobileBERT轻41倍,推理速度提升达30倍,充分验证了其在资源受限边缘设备上的高效性与实用性。

基准测试

基准方法指标
intent-detection-on-atisLIDSNet
Accuracy: 95.97
intent-detection-on-snipsLIDSNet
Accuracy: 98.0

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供