摘要
现有的知识图谱到文本（KG-to-text）生成的预训练模型通常只是在KG-to-text数据集上对文本到文本的预训练模型（如BART或T5）进行微调，这在编码过程中很大程度上忽略了图结构，并且缺乏精心设计的预训练任务来显式建模图-文对齐。为了解决这些问题，我们提出了一种称为JointGT的图-文联合表示学习模型。在编码阶段，我们设计了一个结构感知的语义聚合模块，该模块被嵌入到每个Transformer层中以保留图结构。此外，我们提出了三种新的预训练任务，旨在显式增强图-文对齐，包括分别进行文本/图重构以及通过最优传输（Optimal Transport）在嵌入空间中实现图-文对齐。实验结果表明，JointGT在多个KG-to-text数据集上取得了新的最先进性能。
代码仓库
thu-coai/JointGT
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| kg-to-text-generation-on-pathquestion | JointGT (BART) | BLEU: 65.89 METEOR: 48.25 ROUGE: 78.87 |
| kg-to-text-generation-on-pathquestion | T5 | BLEU: 58.95 METEOR: 44.72 ROUGE: 76.58 |
| kg-to-text-generation-on-pathquestion | BART | BLEU: 63.74 METEOR: 47.23 ROUGE: 77.76 |
| kg-to-text-generation-on-pathquestion | JointGT (T5) | BLEU: 60.45 METEOR: 45.38 ROUGE: 77.59 |
| kg-to-text-generation-on-webnlg-2-0 | JointGT (T5) | BLEU: 66.14 METEOR: 47.25 ROUGE: 75.91 |
| kg-to-text-generation-on-webnlg-2-0 | T5 | BLEU: 64.42 METEOR: 46.58 ROUGE: 74.77 |
| kg-to-text-generation-on-webnlg-2-0 | JointGT (BART) | BLEU: 65.92 METEOR: 47.15 ROUGE: 76.10 |
| kg-to-text-generation-on-webnlg-2-0 | BART | BLEU: 64.55 METEOR: 46.51 ROUGE: 75.13 |
| kg-to-text-generation-on-webnlg-2-0-1 | JointGT (BART) | BLEU: 58.55 METEOR: 45.01 ROUGE: 72.31 |
| kg-to-text-generation-on-webnlg-2-0-1 | JointGT (T5) | BLEU: 61.01 METEOR: 46.32 ROUGE: 73.57 |
| kg-to-text-generation-on-webnlg-2-0-1 | BART | BLEU: 56.65 METEOR: 44.51 ROUGE: 70.94 |
| kg-to-text-generation-on-webnlg-2-0-1 | T5 | BLEU: 58.66 METEOR: 46.04 ROUGE: 73.06 |
| kg-to-text-generation-on-webquestions | T5 | BLEU: 28.78 METEOR: 30.55 ROUGE: 55.12 |
| kg-to-text-generation-on-webquestions | BART | BLEU: 29.61 METEOR: 31.48 ROUGE: 55.42 |
| kg-to-text-generation-on-webquestions | JointGT (BART) | BLEU: 30.02 METEOR: 32.05 ROUGE: 55.6 |
| kg-to-text-generation-on-webquestions | JointGT (T5) | BLEU: 28.95 METEOR: 31.29 ROUGE: 54.47 |