
摘要
开放意图分类是对话系统中的一项具有挑战性的任务。一方面,它需要确保已知意图识别的质量;另一方面,它还需要在没有先验知识的情况下检测开放(未知)意图。当前的模型在寻找适当的决策边界以平衡已知意图和开放意图的性能方面存在局限性。本文提出了一种后处理方法,用于学习开放意图分类的自适应决策边界(ADB)。我们首先利用标记的已知意图样本对模型进行预训练。然后,在良好训练特征的帮助下,自动为每个已知类别学习自适应球形决策边界。具体而言,我们提出了一种新的损失函数来平衡经验风险和开放空间风险。我们的方法不需要开放意图样本,并且无需修改模型架构。此外,我们的方法对于较少的标记数据和较少的已知意图表现出惊人的不敏感性。在三个基准数据集上的广泛实验表明,与现有最先进方法相比,我们的方法取得了显著改进。代码已发布在 https://github.com/thuiar/Adaptive-Decision-Boundary。
代码仓库
thuiar/Adaptive-Decision-Boundary
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| open-intent-detection-on-banking-77-50-known | ADB | 1:1 Accuracy: 78.86 F1-score: 80.90 |
| open-intent-detection-on-banking-77-75-known | ADB | 1:1 Accuracy: 81.08 F1-score: 85.96 |
| open-intent-detection-on-banking77-25-known | ADB | 1:1 Accuracy: 78.85 F1-score: 71.62 |
| open-intent-detection-on-oos-25-known | ADB | 1:1 Accuracy: 87.59 F1-score: 77.19 |
| open-intent-detection-on-oos-50-known | ADB | 1:1 Accuracy: 86.54 F1-score: 85.05 |
| open-intent-detection-on-oos-75-known | ADB | 1:1 Accuracy: 86.32 F1-score: 88.53 |
| open-intent-detection-on-stackoverflow-25 | ADB | 1:1 Accuracy: 86.72 F1-score: 80.83 |
| open-intent-detection-on-stackoverflow-50 | ADB | 1:1 Accuracy: 86.40 F1-score: 85.83 |
| open-intent-detection-on-stackoverflow-75 | ADB | 1:1 Accuracy: 82.78 F1-score: 85.99 |