4 个月前

简化中文命名实体识别中的词典使用

简化中文命名实体识别中的词典使用

摘要

近期,许多研究尝试通过使用词汇表来提升中文命名实体识别(NER)的性能。其中,Lattice-LSTM(张和杨,2018年)在多个公开的中文NER数据集上取得了新的基准结果。然而,Lattice-LSTM具有复杂的模型架构,这限制了其在需要实时NER响应的许多工业领域的应用。在本研究中,我们提出了一种简单而有效的方法,将词汇表信息融入字符表示中。该方法避免了设计复杂的序列建模架构,并且对于任何神经NER模型,只需对字符表示层进行细微调整即可引入词汇表信息。我们在四个基准中文NER数据集上的实验研究表明,所提出的方法比现有最先进方法的推理速度提高了最高6.15倍,并且性能更优。实验结果还表明,所提出的这种方法可以轻松地与预训练模型如BERT结合使用。

代码仓库

v-mipeng/LexiconAugmentedNER
官方
pytorch
GitHub 中提及
changle2018/LexionAN-master
pytorch
GitHub 中提及

基准测试

基准方法指标
chinese-named-entity-recognition-on-msraLSTM + Lexicon augment
F1: 93.5
chinese-named-entity-recognition-on-ontonotesLSTM + Lexicon augment
F1: 75.54
chinese-named-entity-recognition-on-resumeLSTM + Lexicon augment
F1: 95.59
chinese-named-entity-recognition-on-weibo-nerLSTM + Lexicon augment
F1: 61.24

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
简化中文命名实体识别中的词典使用 | 论文 | HyperAI超神经