摘要

实值词向量表示已经彻底改变了自然语言处理（NLP）应用；其中广为人知的例子包括word2vec和GloVe，它们因其捕捉语言规律的能力而受到认可。在本文中，我们展示了一种非常简单但又出乎意料的后处理技术——从词向量中消除公共均值向量和少数几个主导方向——这使得现成的表示方法更加出色。该后处理技术在多种词汇层面的内在任务（如词相似度、概念分类、词类比）以及句子层面的任务（如语义文本相似性和文本分类）上进行了实证验证，涉及多个数据集、多种表示方法及超参数选择，并且跨越了多种语言；在每种情况下，经过处理的表示方法都表现出优于原始表示的一致性。