摘要

我们推出了首款推理模型——DeepSeek-R1-Zero 和 DeepSeek-R1。DeepSeek-R1-Zero 是通过大规模强化学习（Reinforcement Learning, RL）训练而成，无需监督微调（Supervised Fine-Tuning, SFT）作为前置步骤，展现出卓越的推理能力。在强化学习过程中，DeepSeek-R1-Zero 自然涌现出多种强大且引人注目的推理行为。然而，该模型也面临可读性差、语言混杂等挑战。为解决上述问题并进一步提升推理性能，我们提出了 DeepSeek-R1，该模型在强化学习前引入了多阶段训练和冷启动数据。在推理任务上，DeepSeek-R1 的表现可与 OpenAI-o1-1217 相媲美。为支持学术研究，我们开源了 DeepSeek-R1-Zero、DeepSeek-R1 以及基于 Qwen 和 Llama 构建的六款密集型模型（1.5B、7B、8B、14B、32B、70B），这些模型均从 DeepSeek-R1 中蒸馏而来。