
摘要
从文本中自动构建相关知识库(Knowledge Base, KB),以及从知识库中生成语义上合理的文本,一直是机器学习领域的长期目标。本文提出ReGen,一种基于强化学习(Reinforcement Learning, RL)的双向文本与图结构生成框架,旨在提升生成性能。通过图结构的线性化表示,我们能够将两种生成任务——文本到图、图到文本——统一建模为序列到序列的生成问题,无论生成方向如何。这一统一框架使得我们可以采用强化学习进行序列训练,并利用模型自身作为其“批评者”(critic),从而实现自批判序列训练(Self-Critical Sequence Training, SCST)。本文通过大量实验验证,表明基于SCST的强化学习方法在WebNLG+ 2020和TekGen数据集上的图结构与文本生成任务中均能显著提升性能。在WebNLG+ 2020数据集上,我们的系统在文本到图和图到文本两种任务上均取得了当前最优(state-of-the-art)结果,显著超越了WebNLG 2020+挑战赛中已发表的基准成果。
代码仓库
IBM/regen
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| joint-entity-and-relation-extraction-on-8 | bt5 (agarwal-etal-2020-machine) | F1: 68.2 |
| joint-entity-and-relation-extraction-on-8 | Amazon AI (Shanghai) (guo-etal-2020-2) | F1: 68.9 |
| joint-entity-and-relation-extraction-on-8 | ReGen (Ours) T2G.RL | F1: 72 |
| joint-entity-and-relation-extraction-on-8 | ReGen (Ours) T2G.CE | F1: 72.3 |
| joint-entity-and-relation-extraction-on-9 | ReGen-CE | F1: 61.9 |
| joint-entity-and-relation-extraction-on-9 | ReGen-SCST | F1: 62.3 |