摘要

命名实体识别（Named Entity Recognition, NER）模型通常基于双向长短期记忆网络（Bi-directional LSTM, BiLSTM）的架构。然而，由于序列结构的固有约束以及对单个输入的建模方式，现有方法难以充分挖掘来自更大范围的全局信息，不仅局限于整个句子层面，更难以涵盖整个文档（或数据集）层面的信息。针对上述两个局限性，本文提出一种引入分层上下文表示的增强型模型，该模型包含句子级表示与文档级表示两个层次。在句子级表示中，通过引入标签嵌入注意力机制，充分考虑单句中不同词语的贡献，从而增强由独立BiLSTM学习得到的句子表示能力；在文档级表示中，采用键值记忆网络（key-value memory network），为每个唯一词语记录与文档上下文相关的语义信息，该机制对上下文语义相似性具有敏感性。本文提出的两级分层上下文表示分别与输入词嵌入及BiLSTM对应的隐藏状态进行融合。在三个标准NER数据集（CoNLL-2003、Ontonotes 5.0英文数据集以及CoNLL-2002西班牙语数据集）上的实验结果表明，所提方法取得了新的最先进（state-of-the-art）性能。