
摘要
近年来,命名实体识别(Named Entity Recognition, NER)领域的进展表明,利用文档级上下文能够显著提升模型性能。然而,在许多实际应用场景中,此类上下文信息往往不可用。本文提出一种新方法:通过以原始句子作为查询,利用搜索引擎检索并筛选出一组语义相关的外部文本,从而为该句子构建外部上下文。实验结果表明,基于检索所得外部上下文与原句拼接形成的“检索式输入视图”所计算出的上下文表示,相较于仅依赖原句的原始输入视图,能够显著提升模型性能。此外,我们进一步提出一种协同学习(Cooperative Learning)训练方法,通过促使两个输入视图(原始输入视图与检索式输入视图)生成相似的上下文表示或输出标签分布,进一步优化模型表现。在涵盖5个不同领域的8个NER数据集上的实验结果表明,所提方法达到了新的最先进(state-of-the-art)性能水平。
代码仓库
Alibaba-NLP/CLNER
pytorch
GitHub 中提及
modelscope/adaseq
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| chinese-named-entity-recognition-on-msra | BERT-CRF (Replicated in AdaSeq) | F1: 96.69 |
| chinese-named-entity-recognition-on-resume | BERT-CRF (Replicated in AdaSeq) | F1: 96.87 |
| chinese-named-entity-recognition-on-weibo-ner | BERT-CRF (Replicated in AdaSeq) | F1: 72.77 |
| chunking-on-conll-2000 | BERT-CRF (Replicated in AdaSeq) | Exact Span F1: 97.18 |
| named-entity-recognition-ner-on-bc5cdr | CL-L2 | F1: 90.99 |
| named-entity-recognition-ner-on-conll-2003 | BERT-CRF (Replicated in AdaSeq) | F1: 93.35 |
| named-entity-recognition-ner-on-conll-2003 | CL-KL | F1: 93.85 |
| named-entity-recognition-ner-on-ncbi-disease | CL-KL | F1: 88.96 |
| named-entity-recognition-on-cmeee | BERT-CRF (Replicated in AdaSeq) | F1: 68.97 |
| named-entity-recognition-on-conll | CL-KL | F1: 94.81 |
| named-entity-recognition-on-wnut-2016 | CL-KL | F1: 58.98 |
| named-entity-recognition-on-wnut-2017 | BERT-CRF (Replicated in AdaSeq) | F1: 59.69 |
| named-entity-recognition-on-wnut-2017 | CL-KL | F1: 60.45 |