摘要

句级表示对于各种自然语言处理任务是必要的。循环神经网络在学习分布式表示方面已被证明非常有效，并且可以在自然语言推理任务上高效训练。我们在此类模型的基础上进行构建，提出了一种由双向长短期记忆（BiLSTM）网络和最大池化层组成的层次结构，该结构实施了迭代细化策略，并在SciTail数据集上取得了最先进的结果，同时在SNLI和MultiNLI数据集上也表现出色。我们展示了通过这种方式学习到的句子嵌入可以应用于广泛的迁移学习任务中，在10个SentEval句子嵌入评估任务中的7个任务中超越了InferSent，在9个任务中的8个任务中优于SkipThought。此外，我们的模型在最近发布的10个SentEval探测任务中的8个任务中击败了InferSent模型，这些探测任务旨在评估句子嵌入捕捉句子重要语言属性的能力。