Chen LingXujiang ZhaoXuchao ZhangYanchi LiuWei ChengHaoyu WangZhengzhang ChenTakao OsakiKatsushi MatsudaHaifeng ChenLiang Zhao

摘要
开放信息抽取(Open Information Extraction, OIE)任务旨在从非结构化文本中提取结构化事实,通常以(主体,关系,客体)三元组的形式呈现。尽管像ChatGPT这样的大语言模型(Large Language Models, LLMs)在通用任务求解方面展现出巨大潜力,但在OIE任务上仍落后于先进的监督学习方法,主要原因有两个:其一,由于模型微调受限,LLMs难以区分无关上下文与相关关系,导致难以生成准确的结构化输出;其二,LLMs基于概率进行自回归式生成,使得预测出的关系缺乏置信度。本文系统评估了大语言模型在提升OIE任务性能方面的潜力。为此,我们提出了一系列上下文学习(in-context learning)策略,以增强LLM对指令的理解与遵循能力;同时引入一种演示不确定性量化模块,用于提升生成关系的置信度。在三个主流OIE基准数据集上的实验结果表明,所提出的方法在定量与定性两个层面均能与现有的监督学习方法相媲美,展现出良好的竞争力。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| open-information-extraction-on-carb | LLaMA-2-13B w/ Selected Demo & Uncertainty | F1: 36.2 |
| open-information-extraction-on-carb | GPT-3.5-Turbo w/ Selected Demo & Uncertainty | F1: 52.1 |
| open-information-extraction-on-carb | LLaMA-2-70B w/ Selected Demo & Uncertainty | F1: 51.5 |
| open-information-extraction-on-oie2016 | LLaMA-2-70B w/ Selected Demo & Uncertainty | F1: 65.8 |
| open-information-extraction-on-oie2016 | GPT-3.5-Turbo w/ Selected Demo & Uncertainty | F1: 65.1 |
| open-information-extraction-on-oie2016 | LLaMA-2-13B w/ Selected Demo & Uncertainty | F1: 36.9 |