摘要

尽管以BERT为代表的大型语言模型在自然语言处理（NLP）领域被广泛使用，但其预训练过程通常被视为一项只有少数资金雄厚的工业实验室才能承担的奢侈投入。那么，如何在有限预算下实现此类模型的训练？本文提出了一种在单台低端深度学习服务器上，仅用24小时即可完成掩码语言模型预训练的可行方案。我们证明，通过软件优化、架构设计选择以及超参数调优的有机结合，能够在远低于原始预训练成本的情况下，训练出在GLUE基准任务上表现可与BERT-base相媲美的模型。