摘要

在本研究中，我们提出了一种双向注意力机制——注意池化（Attentive Pooling, AP），用于判别模型的训练。在使用神经网络进行成对排序或分类的背景下，AP 使得池化层能够感知当前输入对，从而两个输入项的信息可以直接影响彼此表示的计算。除了生成配对输入的表示外，AP 还联合学习了在投影片段（例如三元组）上的一致性度量，并随后为每个输入推导出相应的注意力向量以指导池化操作。我们的双向注意力机制是一个独立于底层表示学习的通用框架，在本研究中已应用于卷积神经网络（CNNs）和循环神经网络（RNNs）。来自三个截然不同的基准任务（包括问题回答/答案选择）的实证结果表明，我们提出的模型优于多种强大的基线方法，并在所有基准测试中达到了最先进的性能。