4 个月前

MSc-SQL:多样本批评小规模语言模型用于文本到SQL转换

MSc-SQL:多样本批评小规模语言模型用于文本到SQL转换

摘要

文本到SQL生成技术使得非专业人士能够通过自然语言与数据库进行交互。近期的研究进展主要依赖于像GPT-4这样的大型闭源模型,这些模型在可访问性、隐私性和延迟方面存在挑战。为了解决这些问题,我们专注于开发小型、高效且开源的文本到SQL模型。我们展示了采样多个候选SQL生成结果的好处,并提出了我们的方法——MSc-SQL,利用相关元数据对这些结果进行评估。我们的样本评估模型可以同时评估多个输出,在与其他开源模型相比达到最先进的性能的同时,其成本远低于大型模型,但仍能保持竞争力。完整的代码可以在https://github.com/layer6ai-labs/msc-sql 获取。

代码仓库

layer6ai-labs/msc-sql
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
text-to-sql-on-bird-big-bench-for-large-scaleMSc-SQL
Execution Accuracy % (Dev): 65.6
text-to-sql-on-spiderMSc-SQL
Execution Accuracy (Test): 84.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
MSc-SQL:多样本批评小规模语言模型用于文本到SQL转换 | 论文 | HyperAI超神经