摘要

大型预训练语言模型（PLMs）在语言理解技术的发展中变得无处不在，并且是许多人工智能进展的核心。尽管使用预训练语言模型在英语方面取得的进展前所未有，但在希伯来语方面使用预训练语言模型的进展却寥寥无几。这一问题有两方面的原因。首先，可用于训练自然语言处理（NLP）模型的希伯来语资源的数量远不及其英语对应资源。其次，缺乏公认的任务和基准来评估希伯来语预训练语言模型的进展。在这项工作中，我们旨在解决这两个方面的问题。首先，我们介绍了 AlephBERT，这是一款用于现代希伯来语的大规模预训练语言模型，其词汇量和数据集规模均超过以往任何一款希伯来语预训练语言模型。其次，利用 AlephBERT，我们在多个希伯来语任务和基准上取得了新的最先进结果，包括：分词、词性标注、完整的形态学标注、命名实体识别和情感分析。我们公开发布了 AlephBERT 模型，为开发希伯来语自然语言处理应用提供了一个统一的入口点。