摘要

语言模型预训练在学习通用语言表示方面已被证明是有效的。作为最先进的语言模型预训练模型之一，BERT（双向编码器表示从变压器）在许多语言理解任务中取得了令人瞩目的成果。本文通过大量实验研究了BERT在文本分类任务中的不同微调方法，并提供了一种通用的BERT微调解决方案。最终，所提出的解决方案在八个广泛研究的文本分类数据集上获得了新的最先进结果。