GortiSatya Krishna ; GofmanIlan ; LiuZhaoyan ; WuJiapeng ; VouitsisNoël ; YuGuangwei ; CresswellJesse C. ; HosseinzadehRasa

摘要
文本到SQL生成技术使得非专业人士能够通过自然语言与数据库进行交互。近期的研究进展主要依赖于像GPT-4这样的大型闭源模型,这些模型在可访问性、隐私性和延迟方面存在挑战。为了解决这些问题,我们专注于开发小型、高效且开源的文本到SQL模型。我们展示了采样多个候选SQL生成结果的好处,并提出了我们的方法——MSc-SQL,利用相关元数据对这些结果进行评估。我们的样本评估模型可以同时评估多个输出,在与其他开源模型相比达到最先进的性能的同时,其成本远低于大型模型,但仍能保持竞争力。完整的代码可以在https://github.com/layer6ai-labs/msc-sql 获取。
代码仓库
layer6ai-labs/msc-sql
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| text-to-sql-on-bird-big-bench-for-large-scale | MSc-SQL | Execution Accuracy % (Dev): 65.6 |
| text-to-sql-on-spider | MSc-SQL | Execution Accuracy (Test): 84.7 |