
摘要
在词汇语义学中,全句切分与各类现象的片段标注通常被分别处理,尽管二者之间存在内在关联。我们提出假设:将多种标注风格统一为一项综合的词汇语义识别任务,是一种有效整合先前分散标注方式的方法,包括多词表达识别/分类以及超语义标注(supersense tagging)。基于STREUSLE语料库,我们训练了一个神经条件随机场(neural CRF)序列标注模型,并从多个标注维度评估其性能。由于该模型的标签体系扩展了以往任务(如PARSEME、DiMSUM)的标签集,我们进一步评估了模型在这些已有测试集上的泛化能力,结果表明,尽管模型仅在STREUSLE语料上进行训练,其性能仍能达到甚至超越现有模型。本研究还为词汇语义的集成化、精确建模建立了基线模型与评估指标,为该领域的后续研究提供了有力支持。
代码仓库
nert-nlp/streusle
官方
GitHub 中提及
nelson-liu/lexical-semantic-recognition
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| natural-language-understanding-on-streusle | GloVe (pred POS/lemmas) | Full F1 (Preps): 58.0 Tags (Full) Acc: 77.1 |
| natural-language-understanding-on-streusle | BERT (gold POS/lemmas) | Full F1 (Preps): 71.4 Function F1 (Preps): 81.7 Role F1 (Preps): 72.4 Tags (Full) Acc: 81.0 |
| natural-language-understanding-on-streusle | GloVe (none) | Full F1 (Preps): 58.1 Tags (Full) Acc: 77.5 |
| natural-language-understanding-on-streusle | BERT (pred POS/lemmas) | Full F1 (Preps): 71.6 Function F1 (Preps): 82.8 Role F1 (Preps): 72.4 Tags (Full) Acc: 82.5 |
| natural-language-understanding-on-streusle | GloVe (gold POS/lemmas) | Full F1 (Preps): 61.0 Tags (Full) Acc: 79.3 |
| natural-language-understanding-on-streusle | BERT (none) | Full F1 (Preps): 70.9 Function F1 (Preps): 81.0 Role F1 (Preps): 71.9 Tags (Full) Acc: 82.0 |