摘要

基于Transformer架构的预训练语言模型BERT已在众多自然语言处理（NLP）任务中显著提升了当前最优性能。在保持相同模型架构与参数规模的前提下，我们开发并评估了一个专用于荷兰语的单语BERT模型，命名为BERTje。相较于包含荷兰语但仅基于维基百科文本的多语言BERT模型，BERTje基于包含24亿个词元的大规模、多样化语料库进行训练。在下游NLP任务（包括词性标注、命名实体识别、语义角色标注及情感分析）中，BERTje在各项指标上均持续优于同等规模的多语言BERT模型。我们已将该预训练的荷兰语BERT模型开源，相关资源可访问 https://github.com/wietsedv/bertje。