摘要

对话式语义解析（Conversational Semantic Parsing, CSP）是指将一系列自然语言查询转换为可针对结构化本体（如数据库、知识库）执行的正式语言（例如SQL、SPARQL）的任务。为完成这一任务，CSP系统需同时建模非结构化语言表述与结构化本体之间的关系，并捕捉对话的多轮交互动态。预训练语言模型（Language Models, LMs）在多种自然语言处理任务中已达到当前最先进水平。然而，现有基于自由文本语言建模目标进行预训练的模型，在表征自然语言对上下文结构化数据的引用方面能力有限。本文提出SCORE——一种专为CSP任务设计的新颖预训练方法，旨在生成能够捕捉对话流与结构化上下文之间对齐关系的表示。我们通过将SCORE与四种不同任务（SPARC、COSQL、MWOZ和SQA）中的强基线系统相结合，验证了SCORE的广泛适用性。实验结果表明，SCORE在所有基线系统上均显著提升性能，并在其中三项任务上取得了当前最优（state-of-the-art）结果。本文的模型实现代码及预训练检查点将通过匿名链接公开发布。