摘要

目前大多数可用的语义解析数据集均由自然语言语句与逻辑形式的配对构成，其收集目的仅限于自然语言理解系统的训练与评估。因此，这些数据集缺乏真实语境中自然出现的语句所具有的丰富性与多样性，而真实语境下的语句通常源于人类对所需数据或感兴趣信息的询问。在本研究中，我们发布了SEDE数据集，该数据集包含从Stack Exchange网站实际使用场景中收集的12,023组语句与SQL查询配对。我们证明，这些语句对包含了多种现实世界中的挑战，而这些挑战在以往任何其他语义解析数据集中都鲜有体现；为此，我们提出了一种基于部分查询子句对比的评估指标，该指标更适用于真实场景下的查询；此外，我们还基于强大的基线模型进行了实验，结果表明，模型在SEDE数据集上的表现与在其他常用数据集上的表现之间存在显著差距。