{Pierre MaretManolis KoubarakisMyrto TsokanaridouMichail MitsiosMariangela PollaliKonstantinos PlasEleni TsalapatiDharmen PunjaniSergios-Anestis Kefalidis}

摘要
我们提出了GeoQuestions1089数据集,用于基准测试地理空间问答系统。GeoQuestions1089是目前可用的规模最大的同类数据集,包含1089个问题、其对应的GeoSPARQL或SPARQL查询语句,以及在地理空间知识图谱YAGO2geo上的答案。我们利用GeoQuestions1089对地理空间问答系统GeoQA2(由本研究团队开发的GeoQA扩展版本)以及Hamzei等人(2022年)提出的系统在有效性与效率方面的表现进行了评估。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| question-answering-on-geoquestions1089 | Hamzei et al. | Percentage correct: 19.04% |
| question-answering-on-geoquestions1089 | GeoQA2 | Percentage correct: 38.28% |