摘要

词嵌入（word embeddings）的设计初衷无法捕捉词语语义的动态特性，即词语可能对应多种不同含义的属性。为了解决这一局限性，研究者提出了数十种专门的意义表示技术，如词义嵌入（sense embeddings）或上下文嵌入（contextualized embeddings）。然而，尽管该领域的研究非常活跃，但专门针对词语动态语义的评估基准却很少。在本文中，我们展示了现有的模型已经超过了用于此目的的标准评估数据集——斯坦福上下文词相似度数据集（Stanford Contextual Word Similarity）的性能上限，并指出了其不足之处。为了弥补缺乏合适基准的问题，我们提出了一种大规模的“词在上下文中”数据集，称为WiC，该数据集基于专家整理的注释，用于对上下文敏感表示进行通用评估。WiC 数据集已发布在 https://pilehvar.github.io/wic/。