摘要

近期知识图谱到文本生成（KG-to-text）的改进得益于一些额外的辅助预训练任务，这些任务旨在提升微调任务的性能。然而，这些任务需要大量的计算资源，而仅能带来微小的性能提升。本文展示了通过将图感知元素融合到现有的预训练语言模型中，我们能够超越当前最先进的模型，并缩小由额外预训练任务带来的差距。为此，我们提出了一种掩码结构来捕捉邻域信息，以及一种新型类型编码器，该编码器根据连接类型对图注意力权重添加偏差。在两个KG-to-text基准数据集上的实验表明，我们的模型具有竞争力，同时参数更少且无需额外的预训练任务。通过将问题构建为一个框架，我们可以互换各种提出的组件，并开始基于图中的拓扑和类型信息解释KG-to-text生成模型。