摘要

大规模语言模型（LLMs）的扩展显著提升了模型性能，但随之而来的是高昂的计算成本。混合专家（Mixture-of-Experts, MoE）模型提供了一种高效的替代方案，在不带来成比例计算开销增长的前提下，显著提升了模型容量。然而，从零开始训练MoE模型面临过拟合和路由不稳定性等挑战。本文提出一种高效的训练方法，利用预训练的密集模型检查点，仅需典型预训练计算资源的不到1%，即可从Llama 3-8B模型出发，成功训练出一个8专家、Top-2路由的MoE模型。该方法在学术基准测试中显著提升了下游任务表现，在MMLU数据集上实现了0-shot准确率提升2%的成果。同时，在训练过程中，我们的框架达到了46.8%的模型浮点运算利用率（MFU）。此外，我们还在NeMo框架中集成了在线权重再利用（online upcycling）机制，实现了预训练权重的无缝复用，显著降低了高容量MoE模型开发的成本，推动了高效、经济的MoE模型构建。