摘要

在机器阅读理解（MRC）领域，现有系统在SQuAD等众多任务上的表现已超越人类平均水平。然而，在逻辑推理方面，仍存在显著差距。尽管已有部分方法被提出用于提升逻辑推理能力，但这些方法往往设计过于复杂，或过度依赖外部结构。本文提出了一种名为IDOL（InDicator-Oriented Logic Pre-training）的新型预训练任务，该方法简单易懂且高效，通过引入六类逻辑指示符（logical indicators）以及一个富含逻辑信息的数据集LGP（LoGic Pre-training），对预训练模型进行逻辑增强。IDOL在逻辑推理MRC领域的两个代表性基准测试ReClor和LogiQA上均取得了当前最优性能。实验表明，该方法具备良好的泛化能力，可适配多种预训练模型，并在RACE和SQuAD 2.0等其他类型的MRC基准上保持竞争力，同时在GLUE任务上的测试也证明其具备出色的通用语言理解能力。此外，在大语言模型兴起的背景下，我们还将IDOL与ChatGPT等先进模型进行了对比，结果表明IDOL依然展现出显著优势。