3 个月前

基于生成式Transformer的对比三元组抽取

基于生成式Transformer的对比三元组抽取

摘要

三元组抽取是自然语言处理与知识图谱构建中的关键任务。本文重新审视了基于序列生成的端到端三元组抽取方法。由于生成式三元组抽取在捕捉长距离依赖关系以及生成忠实三元组方面可能存在困难,我们提出了一种新型模型——基于生成式Transformer的对比三元组抽取模型。具体而言,我们设计了一个共享的单变压器模块,用于基于编码器-解码器架构的生成过程。为提升生成结果的忠实性,我们提出了一种新颖的三元组对比训练目标。此外,我们引入两种机制以进一步提升模型性能,即批量动态注意力掩码机制(batch-wise dynamic attention-masking)和三元组级校准机制(triple-wise calibration)。在三个公开数据集(NYT、WebNLG 和 MIE)上的实验结果表明,所提方法在性能上优于现有基线模型。

基准测试

基准方法指标
relation-extraction-on-webnlgCGT(UniLM)
F1: 83.4

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供