摘要

池化是多种句子表示和嵌入模型中的一个基本组成部分。本文探讨了广义池化方法以增强句子嵌入。我们提出了一种基于向量的多头注意力机制，该机制包含了广泛使用的最大池化（max pooling）、平均池化（mean pooling）和标量自注意力（scalar self-attention）作为特殊情况。通过合理设计的惩罚项，该模型可以减少多头注意力中的冗余。我们在三个不同的任务上评估了所提出的模型：自然语言推理（NLI）、作者画像和情感分类。实验结果表明，该模型在四个数据集上显著优于基于强句子编码的方法，达到了当前最佳性能。所提出的方法可以轻松应用于本文讨论之外的更多问题。