摘要

大型语言模型（LLMs）的出色表现引发了对其在代码生成应用方面的广泛讨论。近期研究表明，通过可见测试进行连续程序改进可以提高LLMs在代码生成中的准确性。然而，这些方法受到LLMs效率低下和推理能力有限的制约。在这项工作中，我们提出了一种设计用于改善初始代码生成及后续改进的大型语言模型编程工作流程（LPW），该工作流程分为两个阶段。具体而言，在解决方案生成阶段，会制定一个解决方案计划，然后通过可见测试验证该计划以明确预期的自然语言解决方案。随后，在代码实现阶段，根据已验证的解决方案计划起草初始代码。如果生成的代码未能通过可见测试，则计划验证将作为预期解决方案持续指导修复过程以纠正错误。与现有各种最先进的LLMs方法相比，LPW显著提高了Pass@1准确率，在多个成熟的文本到代码生成基准测试中最高提升了16.4%。此外，LPW还创造了新的Pass@1准确率记录，在HumanEval上达到98.2%，在MBPP上达到84.8%，在LiveCode上达到59.3%，在APPS上达到62.6%，以及在CodeContest上达到34.7%，其核心模型为GPT-4o。我们的代码已公开发布于：https://github.com/you68681/lpw