摘要

意图识别与槽位填充是自然语言理解中的两项核心任务。在本研究中，我们提出了一种新型的编码器-解码器架构——CTRAN，该架构基于卷积神经网络（CNN）与Transformer的融合设计，用于实现意图识别与槽位填充。在编码器部分，我们首先采用BERT作为基础模型，随后接入多层卷积网络，并通过窗口特征序列对输出进行重新组织。在窗口特征序列之后，我们堆叠使用Transformer编码器以进一步提取上下文特征。对于意图识别的解码器，我们采用自注意力机制结合线性层进行分类。在槽位填充的解码器中，我们引入了对齐Transformer解码器（aligned Transformer decoder），该结构采用零对角掩码（zero diagonal mask），使输出标签与输入词元（token）实现精准对齐。我们在ATIS和SNIPS两个标准数据集上对所提模型进行了实验，结果表明，该方法在两个数据集上的槽位填充性能均超越了当前最优水平。此外，我们还将语言模型作为词嵌入（word embeddings）使用，实验结果表明，相较于将语言模型作为编码器的策略，该嵌入方式能够取得更优的性能表现。