3 个月前

CONTaiNER:基于对比学习的少样本命名实体识别

CONTaiNER:基于对比学习的少样本命名实体识别

摘要

在低资源领域中,少样本(Few-Shot)场景下的命名实体识别(Named Entity Recognition, NER)具有重要意义。现有方法通常仅从源域中学习特定类别的语义特征和中间表示,这限制了其在未见目标域上的泛化能力,导致性能表现不佳。为此,本文提出一种新颖的对比学习方法——CONTaiNER,该方法通过优化令牌间分布距离来提升少样本NER的性能。与以往专注于优化类别特定属性的方法不同,CONTaiNER采用一种更具普适性的目标:基于令牌嵌入的高斯分布特性,有效区分不同类型的令牌。这一机制显著缓解了因训练域数据局限而导致的过拟合问题。在多个传统测试数据集(OntoNotes、CoNLL'03、WNUT '17、GUM)以及一个新构建的大规模少样本NER数据集(Few-NERD)上的实验结果表明,CONTaiNER在平均性能上相较先前方法提升了3%至13%的绝对F1分数,且在各类挑战性场景下均表现出稳定一致的性能,即使在以往方法难以取得显著效果的条件下亦能保持优异表现。

代码仓库

psunlpgroup/container
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
few-shot-ner-on-few-nerd-interCONTaiNER
10 way 1~2 shot: 48.35
10 way 5~10 shot: 57.12
5 way 1~2 shot: 55.95
5 way 5~10 shot: 61.83
few-shot-ner-on-few-nerd-intraCONTaiNER
10 way 1~2 shot: 33.84
10 way 5~10 shot: 47.49
5 way 1~2 shot: 40.43
5 way 5~10 shot: 53.70

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
CONTaiNER:基于对比学习的少样本命名实体识别 | 论文 | HyperAI超神经