摘要

预训练语言模型（Pretrained Language Models, PLM）近年来在图到文本生成任务中取得了显著进展。该类方法通常将输入的图结构线性化为序列，并输入到PLM中以获取其表示。然而，如何高效地将图结构信息编码进PLM仍面临挑战，因为这些模型是在自然语言数据上进行预训练的，若直接建模结构化数据，可能导致对原始分布知识的灾难性遗忘。本文提出了一种名为StructAdapt的适配器方法，用于将图结构信息有效融入PLM。与以往方法不同，StructAdapt基于图的连通性，能够有效建模节点之间的交互关系，同时仅需训练与图结构感知相关的适配器参数。该方法在保留图拓扑结构的同时，融入了任务特定的知识。实验结果表明，通过StructAdapt显式地将图结构编码进PLM，显著提升了生成性能，在两个AMR到文本的数据集上均超越了当前最优方法，且仅需训练PLM参数总量的5.1%。