摘要

我们对三种最近提出的上下文嵌入方法在Universal Dependencies 2.3的54种语言的89个语料库上进行了广泛的评估，涉及三项任务：词性标注（POS tagging）、词形还原（lemmatization）和依存句法分析（dependency parsing）。通过将BERT、Flair和ELMo作为预训练嵌入输入，应用于UDPipe 2.0这一强大的基线系统中，该系统是CoNLL 2018共享任务中表现最佳的系统之一，并且是EPE 2018的总体优胜者，我们对这三种上下文词嵌入方法进行了逐一比较，同时与word2vec类预训练嵌入及端到端字符级词嵌入进行了对比。我们在所有三项任务中报告了相较于CoNLL 2018共享任务中UD 2.2结果的最先进水平。