摘要

预训练的上下文相关和非上下文相关的子词嵌入已经在超过250种语言中可用，这使得大规模多语言自然语言处理（NLP）成为可能。然而，尽管预训练嵌入资源丰富，但缺乏系统的评估使得实践者在选择时面临困难。在这项工作中，我们进行了广泛的评估，比较了非上下文相关的子词嵌入方法——FastText和BPEmb，以及一种上下文表示方法——BERT，在多语言命名实体识别和词性标注任务上的表现。我们发现，总体而言，结合BERT、BPEmb和字符表示的方法在不同语言和任务中表现最佳。更详细的分析揭示了这些方法的不同优势和劣势：多语言BERT在中高资源语言中的表现良好，但在低资源设置下则不如非上下文相关的子词嵌入方法。