摘要

现代人工智能（AI）系统由基础模型驱动。本文介绍了一组新的基础模型，称为Llama 3。这是一系列支持多语言、编程、推理和工具使用的语言模型。我们最大的模型是一个具有4050亿参数和最多128,000个标记上下文窗口的密集型Transformer。本文对Llama 3进行了广泛的实证评估，发现其在众多任务上的表现与领先的语言模型如GPT-4相当。我们公开发布了Llama 3，包括4050亿参数语言模型的预训练和微调版本以及用于输入输出安全性的Llama Guard 3模型。此外，本文还展示了通过组合方法将图像、视频和语音能力集成到Llama 3中的实验结果。我们观察到这种方法在图像、视频和语音识别任务上表现出与当前最先进水平相当的性能。然而，这些集成后的模型尚未广泛发布，因为它们仍在开发中。