摘要
我们在五篇文档上构建了一个开放信息抽取任务的参考标准。我们初步解决了该任务中出现的一系列问题，包括推理和粒度。我们的目标是更精确地确定该任务的要求。为此，我们制定了注释指南，明确了哪些信息是可以正确抽取的，哪些是不可以的。随后，我们利用这一参考标准对现有的开放信息抽取系统进行了评估。我们解决了将系统生成的抽取结果与参考元组进行对比评估这一非 trivial 问题（non-trivial problem），并分享了我们的评估脚本。在比较的七种提取器中，我们发现 MinIE 系统的表现最佳。
代码仓库
rali-udem/WiRe57
官方
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| open-information-extraction-on-wire57 | Ollie Mausam et al. (2012) | F1: 23.9 |
| open-information-extraction-on-wire57 | MinIE Gashteovski et al. (2017) | F1: 35.8 |
| open-information-extraction-on-wire57 | ReVerb Fader et al. (2011) | F1: 20 |
| open-information-extraction-on-wire57 | ClausIE Del Corro and Gemulla (2013) | F1: 34.2 |
| open-information-extraction-on-wire57 | Stanford Angeli et al. (2015) | F1: 19.8 |
| open-information-extraction-on-wire57 | OpenIE 4 Mausam (2016) | F1: 26.7 |
| open-information-extraction-on-wire57 | PropS Stanovsky et al. (2016) | F1: 18.7 |