摘要

上下文感知的词嵌入（contextualized word embeddings）在自然语言处理的多个任务中已被证明具有高效性，因其能够携带丰富的语义信息。然而，如何将这些嵌入与结构化的知识源建立关联，仍是当前的一大挑战。本文提出一种半监督方法——ARES（Sense-aware Embeddings of Senses，即语义感知的词义嵌入），用于生成词典知识库中词汇意义的嵌入表示，其嵌入空间与上下文感知词向量空间具有可比性。ARES生成的表示使得仅采用简单的1-最近邻（1 Nearest-Neighbour）算法，即可在英语词义消歧任务以及多语言词义消歧任务中超越现有最先进模型的表现，且训练过程仅需英语语境标注数据。此外，我们在“词在上下文”（Word-in-Context）任务中进一步评估了所提嵌入的质量，结果表明，当作为外部知识源使用时，ARES嵌入能持续提升神经网络模型的性能，使其达到甚至媲美更为复杂的架构。所有WordNet概念的ARES嵌入，以及用于构建词义表示的自动提取上下文，均可免费获取，访问地址为：http://sensembert.org/ares。