摘要

语音语言理解（Spoken Language Understanding, SLU）是自然语言处理领域中一项广泛应用的任务。在预训练模型BERT取得成功的基础上，自然语言理解（NLU）任务通常通过意图分类（Intent Classification）与槽位填充（Slot Filling）两项子任务来实现，并取得了显著的性能提升。然而，NLU任务中类别不平衡问题尚未得到充分研究，而此类问题在语义解析（Semantic Parsing）数据集中却频繁出现。因此，本研究聚焦于缓解这一问题。为此，本文提出了一种基于BERT的新型架构——联合BERT匿名实体分类（JointBERT-CAE），该模型在三个语义解析数据集（ATIS、Snips、ATIS越南语版）以及一个广为人知的命名实体识别（Named Entity Recognition, NER）数据集CoNLL2003上均取得了性能提升。在JointBERT-CAE架构中，我们采用多任务联合学习策略，将传统的槽位填充任务分解为两个子任务：一是通过序列标注技术检测匿名实体，二是对识别出的匿名实体进行分类。实验结果表明，与标准BERT模型相比，JointBERT-CAE在所有测试数据集上均表现出显著的性能改进，同时展现出良好的可扩展性，适用于其他依赖序列标注技术的自然语言处理任务。