摘要
对话代理通常被设计用于封闭世界环境。然而，用户的行为可能会出乎意料。在开放世界环境中，我们经常遇到训练数据和测试数据采样自不同分布的情况。这种来自不同分布的数据被称为域外（OOD）数据。一个稳健的对话代理需要对这些OOD话语做出适当的反应。因此，稳健的OOD检测的重要性被强调。不幸的是，收集OOD数据是一项具有挑战性的任务。我们设计了一种不依赖于OOD数据的OOD检测算法，在公开可用的数据集上，该算法的表现优于当前广泛使用的多种最先进算法。我们的算法基于一种简单但高效的结合度量学习与自适应决策边界的方法。此外，与其他算法相比，我们在类别数量较少的情况下发现所提出的算法显著提高了OOD性能，同时保持了域内（IND）类别的准确性。
代码仓库
tgargiani/adaptive-boundary
官方
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| open-intent-detection-on-banking-77-50-known | Metric learning + Adaptive Decision Boundary | 1:1 Accuracy: 83.78 F1-score: 84.93 |
| open-intent-detection-on-banking-77-75-known | Metric learning + Adaptive Decision Boundary | 1:1 Accuracy: 84.4 F1-score: 88.39 |
| open-intent-detection-on-banking77-25-known | Metric learning + Adaptive Decision Boundary | 1:1 Accuracy: 85.71 F1-score: 78.86 |
| open-intent-detection-on-oos-25-known | Metric learning + Adaptive Decision Boundary | 1:1 Accuracy: 91.81 F1-score: 85.9 |
| open-intent-detection-on-oos-50-known | Metric learning + Adaptive Decision Boundary | 1:1 Accuracy: 88.81 F1-score: 89.19 |
| open-intent-detection-on-oos-75-known | Metric learning + Adaptive Decision Boundary | 1:1 Accuracy: 88.54 F1-score: 92.21 |