4 个月前

PromptNER:命名实体识别中的提示定位与类型标注

PromptNER:命名实体识别中的提示定位与类型标注

摘要

提示学习是一种利用预训练语言模型的新范式,并在许多任务中取得了显著成功。为了在命名实体识别(NER)任务中应用提示学习,研究者从一对对称的角度探索了两种方法:一种是通过枚举跨度来填充模板以预测其实体类型,另一种是构建特定类型的提示以定位实体。然而,这些方法不仅需要多轮提示的方式,导致时间开销和计算成本较高,还需要精心设计的提示模板,这在实际应用场景中难以实现。本文中,我们将实体定位和实体分类统一到提示学习框架下,并设计了一个包含位置槽位和类型槽位的双槽多提示模板,分别用于提示定位和分类。多个提示可以同时输入模型,然后模型通过并行预测槽位来提取所有实体。为了在训练过程中为槽位分配标签,我们设计了一种动态模板填充机制,该机制利用提示与真实实体之间的扩展二部图匹配。我们在多种设置下进行了实验,包括资源丰富的扁平和嵌套NER数据集以及低资源的域内和跨域数据集。实验结果表明,所提出的模型在性能上取得了显著提升,特别是在跨域少样本设置下,平均性能比现有最先进模型高出7.7%。

代码仓库

tricktreat/promptner
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
named-entity-recognition-ner-on-conll-2003PromptNER [BERT-large]
F1: 92.41
named-entity-recognition-ner-on-conll-2003PromptNER [RoBERTa-large]
F1: 93.08
named-entity-recognition-on-ace-2005PromptNER [RoBERTa-large]
F1: 88.26
named-entity-recognition-on-ace-2005PromptNER [BERT-large]
F1: 87.21
nested-named-entity-recognition-on-ace-2004PromptNER [RoBERTa-large]
F1: 88.72
nested-named-entity-recognition-on-ace-2004PromptNER [BERT-large]
F1: 88.16

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
PromptNER:命名实体识别中的提示定位与类型标注 | 论文 | HyperAI超神经