3 个月前

MINER:从信息论视角提升未登录命名实体识别

MINER:从信息论视角提升未登录命名实体识别

摘要

命名实体识别(NER)模型在标准NER基准测试中已取得令人瞩目的性能表现。然而,近期研究表明,以往的方法可能过度依赖实体提及(entity mention)信息,导致在未登录词(out-of-vocabulary, OOV)实体识别任务上表现不佳。针对这一问题,本文提出一种名为MINER的新型NER学习框架,从信息论的角度出发,旨在改善该缺陷。所提出的框架包含两个基于互信息的训练目标:其一为泛化信息最大化(generalizing information maximization),通过深入理解上下文语境和实体表面形式,提升模型表征能力;其二为冗余信息最小化(superfluous information minimization),有效抑制模型对实体名称的机械记忆或对数据中偏差线索的过度利用。在多种设置和数据集上的实验结果表明,该方法在预测OOV实体方面显著优于现有方法,展现出更优的泛化性能。

基准测试

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
MINER:从信息论视角提升未登录命名实体识别 | 论文 | HyperAI超神经