摘要

诸如领域适应、迁移学习和特征学习等动机激发了对罕见词或未见词、n-gram、同义词集（synsets）及其他文本特征进行嵌入表示的兴趣。本文介绍了一种按需嵌入（a la carte embedding）方法，这是一种简单且通用的替代方案，用于构建此类表示，其基础是近期关于类似GloVe嵌入的理论结果。我们的方法主要依赖于一种线性变换，该变换可以通过预训练的词向量和线性回归高效地学习。当未来遇到新的文本特征或罕见词时，即使只有一个使用示例，这种变换也可以即时应用。我们引入了一个新数据集，展示了按需方法在从上下文中学习高质量嵌入所需示例数量较少的情况下的优势，并在一项nonce任务以及一些无监督文档分类任务中取得了最先进水平的结果。