摘要

近年来，神经主题模型（Neural Topic Models, NTMs）被引入预训练语言模型（Pre-trained Language Models, PLMs）中，以捕捉文本摘要任务中的全局语义信息。然而，现有方法在捕捉与整合全局语义信息方面仍存在局限。为此，本文提出一种新型模型——图对比主题增强语言模型（Graph Contrastive Topic Enhanced Language Model, GRETEL），该模型将图对比主题模型与预训练语言模型相结合，充分挖掘长文档抽取式摘要任务中的全局与局部上下文语义信息。为更有效地捕捉并融入全局语义信息，图对比主题模型融合了层次化Transformer编码器与图对比学习机制，实现对文档整体语境与标准摘要之间语义信息的深度融合。在此基础上，GRETEL能够引导模型高效提取与标准摘要在主题上高度相关的关键句子，而非涵盖次优主题的冗余内容。在通用领域与生物医学领域的多个数据集上的实验结果表明，所提出的方法在性能上优于当前最优（SOTA）方法。