摘要

近期在大型语言模型（LLMs）及其在代码生成任务中的应用方面取得了显著进展，这极大地重塑了软件开发领域。尽管主流编程语言中的代码补全解决方案表现出色，但在应用于不太常见的格式（如 OpenAPI 定义）时，其性能仍显不足。本研究评估了流行的商业代码补全工具 GitHub Copilot 在 OpenAPI 补全任务中的表现，并提出了一套基于 Meta 开源模型 Code Llama 的任务特定优化方法。研究中提出的一个语义感知的 OpenAPI 补全基准用于进行一系列实验，通过这些实验分析了各种提示工程和微调技术对 Code Llama 模型性能的影响。尽管使用的参数比 GitHub Copilot 所依赖的 Codex 模型少 25 倍，经过微调的 Code Llama 模型在正确性方面仍实现了高达 55.2% 的提升。此外，本研究还提出了一种广泛使用的代码填充训练技术的改进方法，解决了当模型接收到的上下文大小小于训练时使用的上下文大小时性能下降的问题。该数据集、基准测试和模型微调代码均已公开发布。