
摘要
词语义消歧(WSD)旨在确定特定上下文中多义词的确切意义。传统的监督方法很少考虑诸如WordNet之类的词汇资源,而这些资源在基于知识的方法中被广泛使用。最近的研究表明,将释义(词义定义)纳入神经网络进行WSD是有效的。然而,与传统的词专家监督方法相比,这种方法并未取得显著的改进。本文重点探讨如何在监督神经WSD系统中更好地利用释义知识。我们构建了上下文-释义对,并提出了三种基于BERT的模型用于WSD。我们在SemCor3.0训练语料库上对预训练的BERT模型进行了微调,并在多个英语全词WSD基准数据集上的实验结果表明,我们的方法优于现有的最先进系统。
代码仓库
nkhl-p/glossBERT
pytorch
GitHub 中提及
HSLCY/GlossBERT
官方
pytorch
GitHub 中提及
tintamarre1/NLP_word_sense_disambiguation
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| entity-linking-on-wic-tsv | GlossBert-ws | Task 1 Accuracy: all: 75.9 Task 1 Accuracy: domain specific: 76.7 Task 1 Accuracy: general purpose: 75.2 |
| word-sense-disambiguation-on-supervised | GlossBERT | SemEval 2007: 72.5 SemEval 2013: 76.1 SemEval 2015: 80.4 Senseval 2: 77.7 Senseval 3: 75.2 |
| word-sense-disambiguation-on-wic-tsv | GlossBert-ws | Task 1 Accuracy: all: 75.9 Task 1 Accuracy: domain specific: 76.7 Task 1 Accuracy: general purpose: 75.2 |