3 个月前

HEProto:一种基于多任务学习的分层增强ProtoNet方法用于少样本命名实体识别

HEProto:一种基于多任务学习的分层增强ProtoNet方法用于少样本命名实体识别

摘要

少样本命名实体识别(Few-shot Named Entity Recognition, NER)任务旨在利用有限的训练样本,从不同领域中识别并分类实体,长期以来被视为知识图谱(Knowledge Graph, KG)构建的基础步骤。尽管该任务已取得诸多进展并展现出优异的性能,但现有方法通常将实体识别的两个子任务——即实体跨度检测(span detection)与类型分类(type classification)——视为相互独立的问题,忽视了二者之间的内在关联性与整体一致性。此外,先前的方法往往难以充分捕捉实体的粗粒度特征,导致实体类型语义表示的不足。为此,本文提出一种基于多任务学习的分层增强原型网络(Hierarchical Enhancing ProtoNet, HEProto),旨在联合学习上述两个子任务,并显式建模其内在关联。具体而言,我们引入对比学习机制,以增强跨度边界信息以及类型语义表示的区分能力。进一步地,设计了一种分层原型网络结构,在类型分类阶段充分利用实体的粗粒度信息,从而帮助模型更有效地学习细粒度的语义表示。在此基础上,我们构建了一种相似性边界损失(similarity margin loss),用以降低细粒度实体与无关粗粒度原型之间的相似度,提升分类的判别性。在 Few-NERD 数据集上的大量实验结果表明,所提出的 HEProto 方法显著优于现有的主流基线方法。相关源代码已开源,可访问 https://github.com/fanshu6hao/HEProto。

基准测试

基准方法指标
few-shot-ner-on-few-nerd-interHEProto
10 way 1~2 shot: 60.91±0.20
10 way 5~10 shot: 68.92±0.20
5 way 1~2 shot: 66.40±0.18
5 way 5~10 shot: 72.53±0.11
few-shot-ner-on-few-nerd-intraHEProto
10 way 1~2 shot: 46.45±0.21
10 way 5~10 shot: 58.98±0.22
5 way 1~2 shot: 53.03±0.30
5 way 5~10 shot: 65.70±0.21

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
HEProto:一种基于多任务学习的分层增强ProtoNet方法用于少样本命名实体识别 | 论文 | HyperAI超神经