摘要

语义解析在分析涉及多个证据组合和计算的复杂自然语言方面表现出色。然而，用于语义解析的数据集中包含了许多可以从单个网页文档中回答的事实性问题。本文中，我们提出通过将基于语义解析的问答模型与一种基线问答模型进行比较来评估前者，该基线模型仅从网页片段中查询并提取答案，而不访问目标知识库。我们在COMPLEXQUESTIONS数据集上研究了这一方法，该数据集旨在关注组合性语言。结果发现，我们的模型获得了合理的性能（F1值为35，而最先进的模型F1值为41）。在分析中我们发现，我们的模型在涉及合取关系的复杂问题上表现良好，但在涉及关系组合和最高级的问题上存在困难。