4 个月前

利用预训练变压器一次性提取多重关系

利用预训练变压器一次性提取多重关系

摘要

大多数从段落中抽取多个关系的方法都需要对段落进行多次遍历。在实际应用中,多次遍历计算成本高昂,这使得方法难以扩展到较长的段落和更大的文本语料库。在本研究中,我们专注于通过仅对段落进行一次编码(单次遍历)来完成多关系抽取任务。我们的解决方案基于预训练的自注意力(Transformer)模型,在该模型中,我们首先添加了一个结构化预测层以处理多个实体对之间的关系抽取,然后通过一种实体感知注意力技术增强了段落嵌入,以便捕捉每个实体相关的多重关系信息。实验结果表明,我们的方法不仅具有良好的可扩展性,而且在标准基准数据集ACE 2005上也能达到最先进的性能。

代码仓库

基准测试

基准方法指标
relation-extraction-on-semeval-2010-task-8Entity-Aware BERT
F1: 89.0

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
利用预训练变压器一次性提取多重关系 | 论文 | HyperAI超神经