4 个月前

利用实体信息丰富预训练语言模型以进行关系分类

利用实体信息丰富预训练语言模型以进行关系分类

摘要

关系分类是自然语言处理(NLP)中的一个重要任务,旨在提取实体之间的关系。目前最先进的关系分类方法主要基于卷积神经网络(Convolutional Neural Networks, CNN)或循环神经网络(Recurrent Neural Networks, RNN)。最近,预训练的BERT模型在许多自然语言处理分类和序列标注任务中取得了非常成功的成果。然而,关系分类与其他任务不同,它不仅依赖于句子的信息,还依赖于两个目标实体的信息。本文提出了一种结合预训练的BERT语言模型并整合目标实体信息的方法来解决关系分类任务。我们定位了目标实体,并通过预训练架构传递这些信息,同时将两个实体的相应编码纳入模型。实验结果表明,我们在SemEval-2010任务8的关系数据集上显著超越了现有最先进方法的表现。

代码仓库

基准测试

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
利用实体信息丰富预训练语言模型以进行关系分类 | 论文 | HyperAI超神经