摘要

尽管预训练语言模型（PTLMs）在众多自然语言处理任务中取得了显著成果，但在需要事件时间推理的任务上仍表现不佳，而这类推理能力对于以事件为中心的应用至关重要。本文提出一种持续预训练方法，旨在为PTLMs注入关于事件时间关系的针对性知识。我们设计了自监督学习目标，用于恢复被掩码的事件和时间标识信息，并区分原始句子与其被篡改版本（其中事件或时间标识被替换）之间的差异。通过联合使用这些目标对PTLM进行进一步预训练，有效强化了模型对事件与时间信息的关注能力，从而显著提升了其在事件时间推理方面的能力。该面向事件时间推理的有效持续预训练框架（ECONET），在五个关系抽取与问答任务中均显著提升了PTLM的微调性能，并在多数下游任务中达到了新的或与当前最优水平相当的性能表现。