摘要
我们推出Shakti，一款参数规模达25亿的专用语言模型，专为资源受限环境（如边缘设备）进行优化，涵盖智能手机、可穿戴设备及物联网系统等场景。Shakti在保持高效性与精准度的同时，融合了高性能自然语言处理能力，特别适用于计算资源与内存受限的实时人工智能应用。该模型支持本土语言及特定领域任务，在医疗、金融和客户服务等行业中表现卓越。基准测试结果表明，Shakti在性能上可与更大规模模型相媲美，同时具备低延迟与设备端高效运行的优势，使其成为边缘人工智能领域的领先解决方案。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| question-answering-on-bbh | Shakti-LLM (2.5B) | Accuracy: 58.2 |
| question-answering-on-boolq | Shakti-LLM (2.5B) | Accuracy: 61.1 |
| question-answering-on-hellaswag | Shakti-LLM (2.5B) | Accuracy: 52.4 |
| question-answering-on-medqa-usmle | Shakti-LLM (2.5B) | Accuracy: 60.3 |
| question-answering-on-mmlu | qwen-LLM 7B | Accuracy: 71.8 |
| question-answering-on-piqa | Shakti-LLM (2.5B) | Accuracy: 86.2 |
| question-answering-on-triviaqa | Shakti-LLM (2.5B) | EM: 58.2 |
| question-answering-on-truthfulqa | Shakti-LLM (2.5B) | Accuracy: 68.4 |