摘要

随着大规模预训练模型在自然语言处理（NLP）中的应用越来越广泛，这些大型模型在边缘设备上运行或在计算资源受限的情况下进行训练和推理仍然面临挑战。本文提出了一种方法，用于预训练一个较小的通用语言表示模型，称为DistilBERT，该模型可以在多种任务上进行微调并取得与其较大同类模型相当的良好性能。尽管先前的大多数研究集中在利用蒸馏技术构建特定任务的模型，我们在预训练阶段引入了知识蒸馏，并展示了可以将BERT模型的大小减少40%，同时保留其97%的语言理解能力，并且速度提高60%。为了利用大型模型在预训练过程中学到的归纳偏置，我们引入了一种结合语言建模、蒸馏和余弦距离损失的三重损失函数。我们的小型、快速且轻量级模型预训练成本更低，并通过概念验证实验和设备上的对比研究展示了其在设备端计算中的能力。