摘要

大规模语言模型（LLMs）已彻底革新了人工智能领域，使此前被认为仅限人类完成的自然语言处理任务成为可能。在本工作中，我们推出了“通义千问”（Qwen），这是我们的大规模语言模型系列的首个版本。Qwen是一个涵盖多种参数规模的综合性语言模型系列，包括基础预训练语言模型Qwen，以及通过人类对齐技术进行微调的对话模型Qwen-Chat。基础语言模型在众多下游任务中持续展现出卓越的性能，而对话模型，尤其是采用人类反馈强化学习（Reinforcement Learning from Human Feedback, RLHF）训练的模型，表现尤为出色，具备极强的竞争力。这些对话模型在工具调用与任务规划方面展现出先进的能力，适用于构建智能代理（agent）应用，在复杂任务（如使用代码解释器）中表现优异，甚至可与参数量更大的模型相媲美。此外，我们还开发了面向特定领域的专用模型：Code-Qwen与Code-Qwen-Chat（代码专项模型），以及Math-Qwen-Chat（数学专项模型），这些模型均基于基础语言模型构建。实验结果表明，这些专用模型在性能上显著优于现有开源模型，仅在部分指标上略逊于闭源商业模型。