摘要

基于注意力机制的编码器-解码器神经网络模型在机器翻译和语音识别领域最近展现出令人鼓舞的结果。本文提出了一种用于联合意图检测和槽位填充的基于注意力机制的神经网络模型，这两者对于许多语音理解和对话系统都是至关重要的步骤。与机器翻译和语音识别不同，槽位填充中的对齐是显式的。我们探讨了将这种对齐信息融入编码器-解码器框架的不同策略。借鉴编码器-解码器模型中的注意力机制，我们进一步提出了在基于对齐的递归神经网络（RNN）模型中引入注意力机制。这些注意力机制为意图分类和槽位标签预测提供了额外的信息。我们的独立任务模型在基准ATIS任务上达到了最先进的意图检测错误率和槽位填充F1分数。我们的联合训练模型在意图检测方面比独立任务模型绝对减少了0.56%的错误率（相对减少了23.8%），并在槽位填充方面获得了0.23%的绝对提升。