摘要

双向长短期记忆网络（BiLSTM）在命名实体识别（NER）的序列标注框架中被广泛用作核心模块。当前最先进的方法通过引入额外资源，如词汇表、语言模型或多任务监督，进一步提升NER的性能。然而，本文则退一步，专注于分析BiLSTM本身存在的问题以及自注意力机制如何具体带来改进。我们正式展示了（条件随机场-）双向长短期记忆网络在建模每个词的跨上下文模式时的局限性——即异或（XOR）局限性。接着，我们表明两种简单的跨结构——自注意力机制和Cross-BiLSTM——可以有效解决这一问题。我们在真实世界的NER数据集OntoNotes 5.0和WNUT 2017上测试了这一缺陷的实际影响，结果显示与基线相比有显著且一致的改进，某些多词实体提及的性能提升了高达8.7%。我们从多个方面深入分析了这些改进，特别是对多词提及的识别效果进行了详细探讨。本研究应为未来序列标注NER的改进奠定坚实的基础。（源代码：https://github.com/jacobvsdanniel/cross-ner）