摘要

连续词表示（又称词嵌入）是许多基于神经网络的自然语言处理模型的基本构建模块。尽管普遍认为具有相似语义的词语在嵌入空间中应该彼此接近，但我们发现，在多个任务中学习到的词嵌入存在偏向于词频的问题：高频词和低频词的嵌入位于嵌入空间的不同子区域，即使语义相似，罕见词和常用词的嵌入也可能相距甚远。这使得学习到的词嵌入在处理罕见词时效果不佳，从而限制了这些神经网络模型的整体性能。本文中，我们提出了一种简洁、简单而有效的方法，通过对抗训练来学习\emph{频率无关的词嵌入}（Frequency-Agnostic Word Embedding, FRAGE）。我们在涵盖四个自然语言处理任务（包括词汇相似度、语言建模、机器翻译和文本分类）的十个数据集上进行了全面的研究。结果表明，使用FRAGE方法后，所有任务的性能均优于基线模型。