摘要

在应对大型语言模型（LLM）在文本到SQL（Text-to-SQL）任务中的性能挑战时，我们引入了CHASE-SQL，这是一种新的框架，采用了创新策略，利用测试时计算在多代理建模中改进候选生成和选择。CHASE-SQL 利用了 LLM 的内在知识，通过不同的 LLM 生成器生成多样且高质量的 SQL 候选方案，具体方法包括：(1) 分而治之的方法，将复杂查询分解为可管理的子查询，并在一个 LLM 调用中完成；(2) 基于查询执行计划的链式思维推理，反映了数据库引擎在执行过程中的步骤；(3) 一种独特的实例感知合成示例生成技术，提供针对测试问题的具体少量示例演示。为了识别最佳候选方案，采用了一个选择代理通过对候选项进行成对比较来排名，该选择代理基于微调后的二元候选选择 LLM。这种选择方法已被证明比其他方法更加稳健。所提出的生成器-选择器框架不仅提高了 SQL 查询的质量和多样性，还超越了先前的方法。总体而言，我们提出的 CHASE-SQL 在著名的 BIRD 文本到 SQL 数据集基准的测试集和开发集上分别实现了 73.0% 和 73.01% 的最新执行准确率，在提交论文时成为排行榜上的最高提交方案。