摘要
大型语言模型（LLMs）在数据标注方面展示了令人印象深刻的能力，为解决经典自然语言处理（NLP）问题开辟了新的途径。本文中，我们展示了如何利用大型语言模型创建NuNER，这是一种专门用于命名实体识别（NER）任务的紧凑型语言表示模型。NuNER可以通过少量数据进行微调，以高效解决下游的NER问题，在少样本场景下超越了类似规模的基础模型，并且与更大规模的大型语言模型具有竞争力。我们发现，预训练数据集的大小和实体类型的多样性是实现良好性能的关键因素。我们认为NuNER属于由大型语言模型近期解锁的任务特定基础模型大家庭的一员。
代码仓库
Serega6678/NuNER
官方
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| few-shot-ner-on-few-nerd-inter | NuNER | 10 way 1~2 shot: 66.54±0.40 10 way 5~10 shot: 71.04±0.14 5 way 1~2 shot: 67.37±0.31 5 way 5~10 shot: 73.50±0.09 |
| few-shot-ner-on-few-nerd-intra | NuNER | 10 way 1~2 shot: 57.63±0.38 10 way 5~10 shot: 62.99±0.27 5 way 1~2 shot: 62.48±0.28 5 way 5~10 shot: 69.16±0.28 |
| named-entity-recognition-ner-on-ncbi-disease | NuNER Zero Span | F1: 61.1 |
| named-entity-recognition-ner-on-ontonotes-v5 | NuNER | F1: 89.1 Precision: 87.8 Recall: 90.5 |
| named-entity-recognition-on-few-nerd-sup | NuNER | F1-Measure: 69.4 Precision: 67.8 Recall: 71.1 |
| zero-shot-named-entity-recognition-ner-on | NuNerZero Span | Entity F1: 60.2 |
| zero-shot-named-entity-recognition-ner-on-1 | NuNERZero span | AI: 61.7 Literature: 64.9 Music: 69.9 Politics: 71.7 Science: 65.4 |
| zero-shot-named-entity-recognition-ner-on-2 | NuNER Zero Span | Entity F1: 24.9 |