
摘要
开放意图检测是自然语言理解的一个重要方面,涉及识别用户生成文本中以前未见过的意图。尽管该领域已经取得了一定进展,但在处理语言成分的新组合时仍面临挑战,这对于组合泛化至关重要。本文通过一个案例研究探讨了使用ChatGPT作为数据增强技术以提升开放意图检测任务中的组合泛化能力。我们首先讨论了现有基准在评估这一问题时的局限性,强调了构建数据集以解决开放意图检测任务中组合泛化问题的必要性。通过将ChatGPT生成的合成数据纳入训练过程,我们展示了这种方法可以有效提高模型性能。对多个基准进行严格评估的结果表明,我们的方法优于现有技术,并显著增强了开放意图检测的能力。我们的研究结果突显了像ChatGPT这样的大型语言模型在自然语言理解任务中用于数据增强的潜力。
代码仓库
fangyihao/gptaug
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| open-intent-detection-on-banking-cg | ADB+GPTAUG-F4 | F1 Score: 66.45 |
| open-intent-detection-on-oos-cg | ADB+GPTAUG-F4 | F1 Score: 56.18 |
| open-intent-detection-on-stackoverflow-cg | DA-ADB | F1 Score: 77.77 |