摘要

逻辑推理在自然语言理解中具有至关重要的作用。以往的研究或采用基于图的模型来融入关于逻辑关系的先验知识，或通过数据增强将符号逻辑引入神经网络模型。然而，这些方法严重依赖于标注的训练数据，因而受限于数据集稀疏性，容易出现过拟合和泛化能力差的问题。为解决上述两个挑战，本文提出MERIt——一种基于元路径引导的对比学习方法，用于文本逻辑推理的自监督预训练，从而在大量未标注文本数据上进行有效学习。本方法包含两项创新性策略，构成其核心组成部分：首先，设计了一种基于元路径的策略，用于挖掘自然文本中的逻辑结构；随后，引入反事实数据增强策略，以消除预训练过程中产生的信息捷径。在两个具有挑战性的逻辑推理基准数据集（ReClor和LogiQA）上的实验结果表明，所提方法显著优于现有最先进基线模型，取得了显著的性能提升。