摘要

句子匹配在自然语言推理、同义句识别和问答等众多自然语言任务中得到广泛应用。对于这些任务，理解两个句子之间的逻辑和语义关系是必要的，但仍然具有挑战性。尽管注意力机制有助于捕捉语义关系并适当地对齐两个句子的元素，但以往的注意力机制方法仅使用简单的求和操作，这不足以保留原始特征。受密集连接卷积网络（DenseNet）的启发，我们提出了一种密集连接的协同注意循环神经网络，该网络每一层都使用了注意力特征以及所有先前循环层的隐藏特征的拼接信息。这使得从最底层的词嵌入层到最顶层的循环层都能保留原始特征和协同注意特征的信息。为了缓解由于密集拼接操作导致特征向量尺寸不断增加的问题，我们还提出在密集拼接之后使用自编码器。我们在与句子匹配相关的高度竞争基准数据集上评估了所提出的架构。实验结果表明，我们的架构通过保留循环和注意力特征，在大多数任务上达到了最先进的性能。