
摘要
对于没有标注资源的语言,从资源丰富的语言转移知识是命名实体识别(NER)的有效解决方案。现有的所有方法都是直接将源语言学习到的模型转移到目标语言,而本文提出了一种在给定测试案例的情况下,利用少量相似示例对学习到的模型进行微调的方法,该方法可以通过利用这些相似示例中的结构和语义信息来提高预测效果。为此,我们提出了一种元学习算法,以找到能够快速适应给定测试案例的良好模型参数初始化,并通过计算句子相似度构建多个伪NER任务来进行元训练。为了进一步提高模型在不同语言间的泛化能力,我们在元训练过程中引入了掩码方案,并在损失函数中增加了一个最大项。我们在五个目标语言上进行了广泛的实验,结果显示我们的方法在跨语言命名实体识别方面显著优于现有的最先进方法。
代码仓库
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| cross-lingual-ner-on-conll-dutch | Base Model | F1: 79.57 |
| cross-lingual-ner-on-conll-dutch | Meta-Cross | F1: 80.44 |
| cross-lingual-ner-on-conll-german | Base Model | F1: 70.79 |
| cross-lingual-ner-on-conll-german | Meta-Cross | F1: 73.16 |
| cross-lingual-ner-on-conll-spanish | Base Model | F1: 74.59 |
| cross-lingual-ner-on-conll-spanish | Meta-Cross | F1: 76.75 |
| cross-lingual-ner-on-europeana-french | Base Model | F1: 50.89 |
| cross-lingual-ner-on-europeana-french | Meta-Cross | F1: 55.3 |
| cross-lingual-ner-on-msra | Meta-Cross | F1: 77.89 |
| cross-lingual-ner-on-msra | Base Model | F1: 76.42 |