
摘要
自然语言句子匹配是多种任务的基础技术。以往的方法要么从单一方向进行句子匹配,要么仅应用单粒度(逐词或逐句)匹配。在本研究中,我们提出了一种基于“匹配-聚合”框架的双边多视角匹配(BiMPM)模型。给定两个句子$P$和$Q$,我们的模型首先使用双向长短期记忆网络(BiLSTM)编码器对它们进行编码。接下来,我们在两个方向上对这两个编码后的句子进行匹配:$P \rightarrow Q$和$P \leftarrow Q$。在每个匹配方向中,一个句子的每个时间步都从多个视角与另一个句子的所有时间步进行对比。然后,利用另一个BiLSTM层将匹配结果聚合为固定长度的匹配向量。最后,根据该匹配向量,通过全连接层做出决策。我们在三个任务上评估了我们的模型:同义句识别、自然语言推理和答案句子选择。实验结果表明,在标准基准数据集上的性能测试中,我们的模型在所有任务上均达到了最先进的水平。
代码仓库
galsang/BIMPM-pytorch
pytorch
GitHub 中提及
gprateek-iitk/Quora-question-pair-matching
tf
GitHub 中提及
zhiguowang/BiMPM
tf
GitHub 中提及
meghu2791/DeepLearningModels
pytorch
GitHub 中提及
MariBax/Paraphrase-Identification
tf
GitHub 中提及
Elvirasun28/quora-question-duplicate
tf
GitHub 中提及
vaibhav4595/BiMPM_PyTorch
pytorch
GitHub 中提及
google-research-datasets/paws
GitHub 中提及
kunj17/keras-quora-question-pair
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| natural-language-inference-on-snli | BiMPM | % Test Accuracy: 87.5 % Train Accuracy: 90.9 Parameters: 1.6m |
| natural-language-inference-on-snli | BiMPM Ensemble | % Test Accuracy: 88.8 % Train Accuracy: 93.2 Parameters: 6.4m |
| paraphrase-identification-on-quora-question | BiMPM | Accuracy: 88.17 |