摘要

我们提出了一种堆叠多层长短时记忆（LSTM）网络的方法，用于建模句子。与传统的堆叠LSTM网络仅将隐藏状态作为输入传递给下一层不同，所建议的架构接受前一层的隐藏状态和记忆单元状态，并通过LSTM的软门机制融合来自左侧和下层上下文的信息。因此，该架构不仅在水平递归中调节信息量，还在垂直连接中进行调节，从而有效地将从低层提取的有用特征传递到高层。我们将这种架构称为细胞感知堆叠LSTM（Cell-aware Stacked LSTM, CAS-LSTM），并通过实验表明，我们的模型在自然语言推理、同义句检测、情感分类和机器翻译等基准数据集上显著优于标准LSTM模型。此外，我们还进行了广泛的定性分析，以深入了解所提议方法的内部行为。