4 个月前

具有自适应决策边界的深度开放意图分类

具有自适应决策边界的深度开放意图分类

摘要

开放意图分类是对话系统中的一项具有挑战性的任务。一方面,它需要确保已知意图识别的质量;另一方面,它还需要在没有先验知识的情况下检测开放(未知)意图。当前的模型在寻找适当的决策边界以平衡已知意图和开放意图的性能方面存在局限性。本文提出了一种后处理方法,用于学习开放意图分类的自适应决策边界(ADB)。我们首先利用标记的已知意图样本对模型进行预训练。然后,在良好训练特征的帮助下,自动为每个已知类别学习自适应球形决策边界。具体而言,我们提出了一种新的损失函数来平衡经验风险和开放空间风险。我们的方法不需要开放意图样本,并且无需修改模型架构。此外,我们的方法对于较少的标记数据和较少的已知意图表现出惊人的不敏感性。在三个基准数据集上的广泛实验表明,与现有最先进方法相比,我们的方法取得了显著改进。代码已发布在 https://github.com/thuiar/Adaptive-Decision-Boundary。

代码仓库

thuiar/Adaptive-Decision-Boundary
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
open-intent-detection-on-banking-77-50-knownADB
1:1 Accuracy: 78.86
F1-score: 80.90
open-intent-detection-on-banking-77-75-knownADB
1:1 Accuracy: 81.08
F1-score: 85.96
open-intent-detection-on-banking77-25-knownADB
1:1 Accuracy: 78.85
F1-score: 71.62
open-intent-detection-on-oos-25-knownADB
1:1 Accuracy: 87.59
F1-score: 77.19
open-intent-detection-on-oos-50-knownADB
1:1 Accuracy: 86.54
F1-score: 85.05
open-intent-detection-on-oos-75-knownADB
1:1 Accuracy: 86.32
F1-score: 88.53
open-intent-detection-on-stackoverflow-25ADB
1:1 Accuracy: 86.72
F1-score: 80.83
open-intent-detection-on-stackoverflow-50ADB
1:1 Accuracy: 86.40
F1-score: 85.83
open-intent-detection-on-stackoverflow-75ADB
1:1 Accuracy: 82.78
F1-score: 85.99

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
具有自适应决策边界的深度开放意图分类 | 论文 | HyperAI超神经