摘要

我们将一系列信息抽取任务统一纳入文本到三元组的翻译框架中。与以往依赖特定任务数据集和模型分别求解各个任务的方法不同，我们将其形式化为从特定任务的输入文本到输出三元组之间的翻译任务。通过输入特定任务的文本，我们利用预训练语言模型中隐含的、关于该任务的知识，实现无需任务特异性的通用翻译。此外，我们进一步证明，一种简单的预训练任务——预测哪一类关系信息对应于哪一段输入文本，是一种有效生成任务特定输出的方法。这一设计使得我们的框架能够实现零样本迁移（zero-shot transfer）至下游任务。我们在开放信息抽取（OIE2016、NYT、WEB、PENN）、关系分类（FewRel 和 TACRED）以及事实探测（Google-RE 和 T-REx）等多个任务上评估了该框架的零样本性能。实验结果表明，该模型在大多数任务上均展现出非平凡的迁移能力，且在无需任何任务特定训练的情况下，常常能够与完全监督的方法相媲美。例如，在开放信息抽取任务中，我们显著优于采用其训练集进行监督训练的现有方法的F1分数。