3 个月前

英雄团伙神经模型用于命名实体识别

英雄团伙神经模型用于命名实体识别

摘要

命名实体识别(Named Entity Recognition, NER)是自然语言处理(NLP)中一项基础且关键的任务,旨在从自由文本中识别出命名实体(Named Entities)。近年来,由于Transformer模型中的多头注意力机制能够有效捕捉长距离上下文信息,基于Transformer的模型已成为主流方法,并在该任务中取得了显著性能提升。然而,尽管这些模型能够获取有效的全局上下文信息,其在局部特征与位置信息提取方面仍存在局限,而这两者在NER任务中至关重要。针对这一问题,本文提出一种新型的Hero-Gang神经结构(Hero-Gang Neural network, HGN),该结构由Hero模块与Gang模块构成,旨在协同利用全局与局部信息以提升NER性能。具体而言,Hero模块基于Transformer编码器,保留了自注意力机制在建模长程依赖方面的优势;Gang模块则引入多窗口循环模块,在Hero模块的引导下,有效提取局部特征与位置信息。随后,所提出的多窗口注意力机制能够将全局上下文信息与多种局部特征进行高效融合,用于实体标签的预测。在多个基准数据集上的实验结果表明,所提出的模型在命名实体识别任务中具有显著的有效性。

代码仓库

jinpeng01/hgn
官方
pytorch

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
英雄团伙神经模型用于命名实体识别 | 论文 | HyperAI超神经