
摘要
当前最先进的命名实体识别(NER)方法通常仅在句子级别处理文本,因而无法建模跨句子边界的上下文信息。然而,基于Transformer的模型为捕捉文档级别的特征提供了天然的优势。本文对两种文献中常见的标准NER架构——“微调(fine-tuning)”与“基于特征的LSTM-CRF”——中的文档级别特征进行了对比评估。我们系统地考察了文档级别特征的不同超参数设置,包括上下文窗口大小以及强制文档局部性(document-locality)等策略。通过一系列实验,我们提出了关于如何有效建模文档上下文的实用建议,并在多个CoNLL-03基准数据集上取得了新的最先进性能。所提出的方法已集成至Flair框架中,以支持实验结果的可复现性。
代码仓库
flairNLP/flair
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| named-entity-recognition-ner-on-conll-2003 | FLERT XLM-R | F1: 94.09 |
| named-entity-recognition-on-conll-2002 | FLERT XLM-R | F1: 90.14 |
| named-entity-recognition-on-conll-2002-dutch | FLERT XLM-R | F1: 95.21 |
| named-entity-recognition-on-conll-2003-german | FLERT XLM-R | F1: 88.34 |
| named-entity-recognition-on-conll-2003-german-1 | FLERT XLM-R | F1: 92.23 |
| named-entity-recognition-on-findvehicle | FLERT | F1 Score: 80.9 |