摘要

近日，Flat-Lattice Transformer（FLAT）在中文命名实体识别（NER）方面取得了显著成功。FLAT通过构建扁平格子进行词汇增强，从而缓解了由模糊的词边界和缺乏词义所带来的问题。在FLAT中，起始字符和结束字符的位置用于连接一个匹配的词。然而，这种方法在处理长文本时可能会匹配更多的词，导致输入序列变长。因此，这显著增加了自注意力模块的内存和计算成本。为了解决这一问题，我们提出了一种新的词汇增强方法——InterFormer，该方法通过构建非扁平格子有效减少了计算和内存成本。此外，以InterFormer为核心，我们实现了用于中文NER的NFLAT模型。NFLAT将词汇融合与上下文特征编码解耦。与FLAT相比，它减少了“字-词”和“词-词”之间的不必要的注意力计算，从而使内存使用量减少约50%，并且可以使用更广泛的词汇表或更大的批次进行网络训练。在多个知名基准数据集上获得的实验结果表明，所提出的方法优于现有的最先进的混合（字-词）模型。