Daya GuoQihao ZhuDejian YangZhenda XieKai DongWentao ZhangGuanting ChenXiao BiY. WuY.K. LiFuli LuoYingfei XiongWenfeng Liang
摘要
大型语言模型的迅猛发展彻底改变了软件开发中的代码智能领域。然而，闭源模型的主导地位在很大程度上限制了相关研究与开发的广泛开展。为应对这一挑战，我们推出了 DeepSeek-Coder 系列开源代码模型，该系列涵盖从 13 亿（1.3B）到 330 亿（33B）参数规模的多种模型，均基于 2 万亿个标记（tokens）的高质量代码语料从零开始训练。这些模型在项目级别的高质量代码语料上进行预训练，并采用填空式（fill-in-the-blank）任务，结合 16K 的上下文窗口，显著提升了代码生成与代码补全能力。大量实验证明，DeepSeek-Coder 不仅在多个基准测试中达到了当前开源代码模型的最先进水平，更在性能上超越了现有的闭源模型，如 Codex 和 GPT-3.5。此外，DeepSeek-Coder 模型采用宽松许可协议，支持科研用途及无限制的商业应用。
代码仓库
deepseek-ai/DeepSeek-Coder
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| code-generation-on-apps | deepseek-ai/deepseek-coder-6.7b-instruct | Competition Pass@1: 11.09 Interview Pass@1: 19.70 Introductory Pass@1: 33.80 |
| code-generation-on-mbpp | DeepSeek-Coder-Base 33B (few-shot) | Accuracy: 66 |
| code-generation-on-mbpp | DeepSeek-Coder-Base 6.7B (few-shot) | Accuracy: 60.6 |
| code-generation-on-mbpp | GPT-3.5 Turbo (few-shot) | Accuracy: 70.8 |
| code-generation-on-mbpp | DeepSeek-Coder-Instruct 33B (few-shot) | Accuracy: 70 |
| code-generation-on-mbpp | DeepSeek-Coder-Instruct 6.7B (few-shot) | Accuracy: 65.4 |
| code-generation-on-mbpp | DeepSeek-Coder-Base 1.3B (few-shot) | Accuracy: 46.2 |
| code-generation-on-mbpp | DeepSeek-Coder-Instruct 1.3B (few-shot) | Accuracy: 49.4 |
| code-generation-on-mbpp | GPT-4 (few-shot) | Accuracy: 80 |