图到文本生成技术已经从预训练语言模型（PLMs）中受益，实现了比结构化图编码器更好的性能。然而，这些模型未能充分利用输入图的结构信息。在本文中，我们提出了一种带有两阶段微调机制的结构化图到文本模型，旨在进一步提升预训练语言模型的性能。该机制首先在维基百科上对模型进行微调，然后再适应于图到文本生成任务。除了使用传统的词元和位置嵌入来编码知识图谱（KG），我们还提出了一种新颖的树级嵌入方法，以捕捉输入图中的互依赖结构。这一新方法显著提高了英语WebNLG 2017数据集上所有文本生成指标的性能。