4 个月前

GlossBERT:利用词义知识的BERT词义消歧模型

GlossBERT:利用词义知识的BERT词义消歧模型

摘要

词语义消歧(WSD)旨在确定特定上下文中多义词的确切意义。传统的监督方法很少考虑诸如WordNet之类的词汇资源,而这些资源在基于知识的方法中被广泛使用。最近的研究表明,将释义(词义定义)纳入神经网络进行WSD是有效的。然而,与传统的词专家监督方法相比,这种方法并未取得显著的改进。本文重点探讨如何在监督神经WSD系统中更好地利用释义知识。我们构建了上下文-释义对,并提出了三种基于BERT的模型用于WSD。我们在SemCor3.0训练语料库上对预训练的BERT模型进行了微调,并在多个英语全词WSD基准数据集上的实验结果表明,我们的方法优于现有的最先进系统。

代码仓库

nkhl-p/glossBERT
pytorch
GitHub 中提及
HSLCY/GlossBERT
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
entity-linking-on-wic-tsvGlossBert-ws
Task 1 Accuracy: all: 75.9
Task 1 Accuracy: domain specific: 76.7
Task 1 Accuracy: general purpose: 75.2
word-sense-disambiguation-on-supervisedGlossBERT
SemEval 2007: 72.5
SemEval 2013: 76.1
SemEval 2015: 80.4
Senseval 2: 77.7
Senseval 3: 75.2
word-sense-disambiguation-on-wic-tsvGlossBert-ws
Task 1 Accuracy: all: 75.9
Task 1 Accuracy: domain specific: 76.7
Task 1 Accuracy: general purpose: 75.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
GlossBERT:利用词义知识的BERT词义消歧模型 | 论文 | HyperAI超神经