摘要

基于Transformer的语言模型通常将文本视为线性序列。然而，大多数文本还具有固有的层次结构，即可以通过其在层次结构中的位置来识别文本的各个部分。此外，章节标题通常表明了其相应句子的共同主题。我们提出了一种新的方法，将层次结构信息显式地提取、编码并注入到一个基于预训练的、仅编码器的Transformer语言模型的抽取式摘要生成模型（HiStruct+模型）中，该方法显著提高了PubMed和arXiv数据集上抽取式摘要生成的最先进ROUGE分数。通过在三个数据集（即CNN/DailyMail、PubMed和arXiv）上使用多种实验设置，我们的HiStruct+模型整体上优于一个强大的基线模型，后者与我们的模型唯一的不同在于没有注入层次结构信息。观察结果还显示，数据集的层次结构越明显，我们的方法获得的改进就越大。消融研究证明，层次位置信息是我们模型达到最先进性能的主要贡献因素。