摘要

近年来，基于循环神经网络（Recurrent Neural Networks, RNNs）的语言建模技术取得了显著进展，使得将语言建模为字符级分布成为可能。通过学习根据先前字符预测下一个字符，这类模型能够自动内化诸如词、句子、子句乃至情感等语言概念。本文提出，利用训练好的字符级语言模型的内部状态，生成一种新型的词嵌入表示，我们称之为上下文字符串嵌入（contextual string embeddings）。该嵌入方法具有两个显著特性：（a）在训练过程中不依赖任何显式的词概念，从而从根本上将词视为字符序列；（b）能够根据上下文动态调整，即同一个词在不同语境中会获得不同的嵌入表示。我们在多个经典序列标注任务上对所提嵌入方法进行了对比评估，结果表明其在下游任务中表现出色：在四项标准任务中，均持续优于此前的最先进方法。尤其在英语和德语命名实体识别（Named Entity Recognition, NER）任务上，显著超越了已有工作，从而在CoNLL03共享任务中取得了新的最优F1分数。为促进研究复现与进一步应用，我们已将所有代码及预训练语言模型以简洁易用的框架形式开源发布至社区：https://github.com/zalandoresearch/flair。