摘要

双向长短期记忆网络（BiLSTM）已被广泛用作解决命名实体识别（NER）任务模型中的编码器。近年来，由于具备并行计算能力以及优异的性能表现，Transformer架构在各类自然语言处理（NLP）任务中得到了广泛应用。然而，Transformer在NER任务中的表现相较于其在其他NLP任务中的表现仍显不足。本文提出TENER，一种采用改进型Transformer编码器的NER架构，用于建模字符级特征与词级特征。通过引入具备方向感知与相对距离感知的注意力机制，以及无缩放注意力机制，我们证明了经过适配的Transformer编码器在NER任务中的表现可与在其他NLP任务中相当，具备同等有效性。