摘要

条件随机场（CRF）作为一种强大的统计序列标注模型已被广泛应用。然而，在神经网络序列标注中，BiLSTM-CRF 并不总是比 BiLSTM-softmax 局部分类方法取得更好的结果。这可能是因为 CRF 的简单马尔可夫标签转换模型在强大的神经编码基础上并未带来显著的信息增益。为了更好地表示标签序列，我们研究了一种分层精炼标签注意力网络，该网络显式利用了标签嵌入，并通过层次注意力机制为每个词提供逐步精炼的标签分布，从而捕捉潜在的长距离标签依赖关系。在词性标注（POS tagging）、命名实体识别（NER）和组合范畴语法超标记（CCG supertagging）任务上的实验结果表明，所提出的模型不仅在参数数量相似的情况下提高了整体标注准确性，而且相比 BiLSTM-CRF 显著加快了训练和测试速度。