3 个月前

Few-NERD:一个少样本命名实体识别数据集

Few-NERD:一个少样本命名实体识别数据集

摘要

近年来,关于少样本命名实体识别(Few-Shot Named Entity Recognition, NER)的研究文献不断增多,但针对实际且具有挑战性的任务,公开发表的基准数据集却极为有限。当前大多数方法通常采用现有的监督式NER数据集,将其重新组织为少样本设置以开展实证研究。这类方法传统上旨在利用少量样本识别粗粒度的实体类型,然而在实际应用中,大多数未见实体类型往往属于细粒度类别。为此,本文提出了Few-NERD,一个大规模人工标注的少样本NER数据集,其包含8个粗粒度和66个细粒度的实体类型层级结构。Few-NERD共包含来自维基百科的188,238条句子,总计4,601,160个词,每条语句均被标注为上下文信息或两个层级实体类型的组成部分。据我们所知,Few-NERD是首个专门面向少样本NER任务的数据集,同时也是目前规模最大的人工构建NER数据集。我们设计了多种侧重不同的基准任务,以全面评估模型的泛化能力。大量实验结果与深入分析表明,Few-NERD具有较高的挑战性,该问题仍需进一步研究。我们已将Few-NERD公开发布,访问地址为:https://ningding97.github.io/fewnerd/。

代码仓库

katzurik/neretrieve
GitHub 中提及
wangpeiyi9979/esd
pytorch
GitHub 中提及
thunlp/Few-NERD
官方
pytorch
GitHub 中提及
psunlpgroup/container
pytorch
GitHub 中提及
renll/sparselt
pytorch
GitHub 中提及
zifengcheng/cdap
pytorch
GitHub 中提及

基准测试

基准方法指标
few-shot-ner-on-few-nerd-interNNShot
10 way 1~2 shot: 38.87±0.21
10 way 5~10 shot: 49.57±2.73
5 way 1~2 shot: 47.24±1.00
5 way 5~10 shot: 55.64±0.63
few-shot-ner-on-few-nerd-interProtoBERT
10 way 1~2 shot: 32.45±0.79
10 way 5~10 shot: 52.92±0.37
5 way 1~2 shot: 38.83±1.49
5 way 5~10 shot: 58.79±0.44
few-shot-ner-on-few-nerd-interStructShot
10 way 1~2 shot: 43.34±0.10
10 way 5~10 shot: 49.57±3.08
5 way 1~2 shot: 51.88±0.69
5 way 5~10 shot: 57.32±0.63
few-shot-ner-on-few-nerd-intraProtoBERT
10 way 1~2 shot: 15.05±0.44
10 way 5~10 shot: 35.40±0.13
5 way 1~2 shot: 20.76±0.84
5 way 5~10 shot: 42.54±0.94
few-shot-ner-on-few-nerd-intraNNShot
10 way 1~2 shot: 18.27±0.41
10 way 5~10 shot: 27.38±0.53
5 way 1~2 shot: 25.78±0.91
5 way 5~10 shot: 36.18±0.79
few-shot-ner-on-few-nerd-intraStructShot
10 way 1~2 shot: 21.03±1.13
10 way 5~10 shot: 26.42±0.60
5 way 1~2 shot: 30.21±0.90
5 way 5~10 shot: 38.00±1.29
named-entity-recognition-on-few-nerd-supBERT-Tagger
F1-Measure: 67.13
Precision: 65.56
Recall: 68.78

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
Few-NERD:一个少样本命名实体识别数据集 | 论文 | HyperAI超神经