4 个月前

BioRED:一个丰富的生物医学关系提取数据集

BioRED:一个丰富的生物医学关系提取数据集

摘要

从生物医学文献中自动提取关系(RE)对于研究和实际应用中的许多下游文本挖掘任务至关重要。然而,大多数现有的生物医学RE基准数据集仅关注单个类型的关系(例如蛋白质-蛋白质相互作用),且主要在句子层面进行标注,这极大地限制了生物医学领域RE系统的开发。本文首先回顾了常用的命名实体识别(NER)和RE数据集。随后,我们介绍了BioRED,这是首个包含多种实体类型(例如基因/蛋白质、疾病、化学物质)和关系对(例如基因-疾病;化学物质-化学物质)的生物医学RE语料库,基于600篇PubMed摘要构建而成。此外,我们将每个关系标记为描述新发现或已知背景知识,从而使自动化算法能够区分新信息和背景信息。我们通过评估几种现有的最先进方法(包括基于BERT的模型)在NER和RE任务上的表现来测试BioRED的实用性。结果显示,现有方法在NER任务上可以达到较高的性能(F值为89.3%),但在RE任务上仍有很大的改进空间,特别是在提取新关系时(F值为47.7%)。我们的实验还表明,这样一个丰富的数据集能够成功促进更准确、高效和鲁棒的生物医学RE系统的开发。BioRED数据集及其标注指南可在https://ftp.ncbi.nlm.nih.gov/pub/lu/BioRED/ 免费获取。

代码仓库

基准测试

基准方法指标
binary-relation-extraction-on-bioredPubMedBERT
F1: 72.9
named-entity-recognition-on-bioredBioBERT-CRF
F1: 88.7
named-entity-recognition-on-bioredPubMedBERT-CRF
F1: 89.3
named-entity-recognition-on-bioredBiLSTM-CRF
F1: 87.1
relation-extraction-on-bioredPubMedBERT
F1: 58.9

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
BioRED:一个丰富的生物医学关系提取数据集 | 论文 | HyperAI超神经