摘要

计算机视觉已经从在大型监督训练集（如ImageNet）上预训练的多层深度网络权重初始化中受益。自然语言处理（NLP）通常仅在深度模型的最低层使用预训练的词向量进行初始化。本文中，我们利用一种用于机器翻译（MT）的注意力序列到序列模型中的深层LSTM编码器来为词向量提供上下文信息。我们展示了在多种常见的NLP任务中，加入这些上下文向量（Contextual Vectors, CoVe）可以提高仅使用无监督词向量和字符向量的性能，这些任务包括情感分析（SST、IMDb）、问题分类（TREC）、蕴含关系判断（SNLI）以及问答系统（SQuAD）。对于细粒度情感分析和蕴含关系判断，CoVe将基线模型的性能提升至当前最佳水平。