Command Palette
Search for a command to run...
在线教程丨超大模型部署无压力！一键运行 Llama 3.1 405B 和 Mistral Large 2
当地时间 7 月 23 日，Meta 正式发布 Llama 3.1，超大号的 405B 参数版本强势开启了开源模型的高光时刻，在多项基准测试中，表现追平甚至超越了现有 SOTA 模型 GPT-4o 和 Claude 3.5 Sonnet 。
有意思的是，Llama 3.1 这厢才问鼎王座，那厢 Mistral AI 就正面硬刚，发布 Mistral Large 2 并直指 405B 模型的「软肋」——难部署。
毫无疑问，405B 参数规模所需的硬件能力对于个人开发者而言，并不是一道能够轻易跨过的门槛，大多数爱好者只能望而却步。而 Mistral Large 2 模型参数量仅有 123B，不足 Llama 3.1 405B 的三分之一，部署门槛也随之降低，但性能却可以与 Llama 3.1「掰一掰手腕」。
例如，在 MultiPL-E 的多种编程语言基准测试中，Mistral Large 2 的平均得分超越 Llama 3.1 405B，与 GPT-4o 相差 1%，在 Python 、 C++、 Java 等方面均超越 Llama 3.1 405B 。正如其官方所言，Mistral Large 2 在评估指标的性能/服务成本方面开辟了新的前沿。
* 使用 Open WebUI 一键部署 Llama 3.1 405B 模型：
* 使用 Open WebUI 一键部署 Mistral Large 2407 123B：
同时，我们还准备了进阶教程，大家可以按需选择：
* 一键部署 Llama 3.1 405B 模型 OpenAI 兼容 API 服务：
* 一键部署 Mistral Large 2407 123B 模型 OpenAI 兼容 API 服务：
小编使用 Open WebUI 一键部署 Mistral Large 2407 123B，并进行了测试，针对大模型频频翻车的「9.9 与 9.11 哪个大」的问题，Mistral Large 2 也未能幸免：
Demo 运行
本次文字教程会以「使用 Open WebUI 一键部署 Mistral Large 2407 123B」和「一键部署 Llama 3.1 405B 模型 OpenAI 兼容 API 服务」为例，为大家拆解操作步骤。
使用 Open WebUI 一键部署 Mistral Large 2407 123B
1. 登录 hyper.ai，在「教程」页面，选择「使用 Open WebUI 一键部署 Mistral Large 2407 123B」，点击「在线运行此教程」。
HyperAI 超神经专属邀请链接（直接复制到浏览器打开）：
https://openbayes.com/console/signup?r=6bJ0ljLFsFh_Vvej
若超过 10 分钟仍处于「正在分配资源」状态，可尝试停止并重启容器；若重启仍无法解决，请在官网联系平台客服。
1. 想要部署 OpenAI 兼容 API 服务的小伙伴，在教程界面选择「一键部署 Llama 3.1 405B 模型 OpenAI 兼容 API 服务」，同样，点击「在线运行教程」
