摘要

意图分类和槽位填充是自然语言理解中的两个基本任务。由于训练数据规模较小且依赖人工标注，这些任务往往面临泛化能力不足的问题，尤其是对于罕见词汇。最近，一种新的语言表示模型——BERT（双向编码器表示从变换器）——通过在大规模未标注语料库上预训练深度双向表示，为多种自然语言处理任务提供了最先进的模型，仅需简单的微调即可实现。然而，目前对于探索BERT在自然语言理解中的应用还较少。在这项工作中，我们提出了一种基于BERT的联合意图分类和槽位填充模型。实验结果表明，与基于注意力机制的循环神经网络模型和槽门控模型相比，我们的模型在多个公开基准数据集上的意图分类准确率、槽位填充F1值以及句子级语义框架准确率方面均取得了显著提升。