4 个月前

BioFLAIR:用于生物医学序列标注任务的预训练池化上下文嵌入

BioFLAIR:用于生物医学序列标注任务的预训练池化上下文嵌入

摘要

生物医学命名实体识别(NER)是生物医学信息处理中的一个难题,主要是由于上下文外术语的广泛歧义性和词汇变化的多样性。随着BERT、GPT和XLNet等模型的发展,生物医学命名实体识别(bioNER)基准测试的性能持续提升。FLAIR是一种替代的嵌入模型,其计算复杂度低于上述提到的其他模型。我们对FLAIR及其预训练的PubMed嵌入(以下简称BioFLAIR)在多种生物医学命名实体识别任务上进行了测试,并将其结果与BERT类网络的结果进行了比较。此外,我们还研究了在PubMed内容上进行少量额外预训练的影响,以及将FLAIR和ELMO模型结合的效果。我们发现,在使用提供的嵌入时,FLAIR的表现与BERT网络相当——甚至在一个基准测试中建立了新的最先进水平。尽管额外预训练并未带来明显的改进,但随着更多预训练的进行,这一情况可能会发生变化。通常情况下,将FLAIR嵌入与其他嵌入堆叠可以提高基准测试的结果。

代码仓库

shreyashub/BioFLAIR
官方
GitHub 中提及

基准测试

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
BioFLAIR:用于生物医学序列标注任务的预训练池化上下文嵌入 | 论文 | HyperAI超神经