摘要

大型语言模型（LLMs）在多种自然语言之间的翻译任务中展现出令人瞩目的性能。然而，许多大型语言模型，尤其是开源模型（如BLOOM和LLaMA），仍以英语为中心，仅支持数十种自然语言，导致其在多语言翻译领域的潜力尚未得到充分挖掘。为此，本文提出BigTranslate，该模型在原始仅支持20种语言的LLaMA基础上，通过增强多语言翻译能力，实现了对超过100种语言的支持。BigTranslate基于LLaMA-13B架构，经过三个阶段的优化：首先，利用大规模中文单语数据对LLaMA进行持续训练；其次，使用覆盖102种自然语言的超大规模平行语料库继续训练模型；最后，通过多语言翻译指令进行指令微调，最终获得BigTranslate模型。初步的多语言翻译实验表明，BigTranslate在多种语言上的表现与ChatGPT和Google Translate相当，甚至在8组语言对上超越了ChatGPT。我们已公开发布BigTranslate模型，期望其能推动多语言翻译领域的研究进展。