4 个月前

ChatGPT 用于组合泛化的数据增强:开放意图检测案例研究

ChatGPT 用于组合泛化的数据增强:开放意图检测案例研究

摘要

开放意图检测是自然语言理解的一个重要方面,涉及识别用户生成文本中以前未见过的意图。尽管该领域已经取得了一定进展,但在处理语言成分的新组合时仍面临挑战,这对于组合泛化至关重要。本文通过一个案例研究探讨了使用ChatGPT作为数据增强技术以提升开放意图检测任务中的组合泛化能力。我们首先讨论了现有基准在评估这一问题时的局限性,强调了构建数据集以解决开放意图检测任务中组合泛化问题的必要性。通过将ChatGPT生成的合成数据纳入训练过程,我们展示了这种方法可以有效提高模型性能。对多个基准进行严格评估的结果表明,我们的方法优于现有技术,并显著增强了开放意图检测的能力。我们的研究结果突显了像ChatGPT这样的大型语言模型在自然语言理解任务中用于数据增强的潜力。

代码仓库

fangyihao/gptaug
官方
pytorch

基准测试

基准方法指标
open-intent-detection-on-banking-cgADB+GPTAUG-F4
F1 Score: 66.45
open-intent-detection-on-oos-cgADB+GPTAUG-F4
F1 Score: 56.18
open-intent-detection-on-stackoverflow-cgDA-ADB
F1 Score: 77.77

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
ChatGPT 用于组合泛化的数据增强:开放意图检测案例研究 | 论文 | HyperAI超神经