摘要

我们介绍了一种新型的深度上下文化词表示方法，该方法不仅建模了词使用的复杂特征（如句法和语义），还建模了这些用法在不同语言环境中的变化（即多义性建模）。我们的词向量是从一个经过大规模文本语料库预训练的深层双向语言模型（biLM）的内部状态中学习得到的函数。我们展示了这些表示可以轻松添加到现有模型中，并显著提升了六个具有挑战性的自然语言处理问题的最新水平，包括问答、文本蕴含和情感分析。此外，我们还进行了分析，表明暴露预训练网络的深层内部结构至关重要，这使得下游模型能够混合不同类型的部分监督信号。