4 个月前

注意力增强的序列推理模型

注意力增强的序列推理模型

摘要

注意力机制在自然语言处理中已被证明是有效的。本文提出了一种增强型自然语言推理模型,命名为aESIM,通过在传统双向长短期记忆(Bi-LSTM)层中加入词注意力机制和自适应方向性注意力机制,使得该推理模型aESIM能够有效学习词的表示,并对前提句和假设句之间的局部子句推理进行建模。在SNLI、MultiNLI和Quora基准数据集上的实证研究显示,aESIM优于原始的ESIM模型。

基准测试

基准方法指标
natural-language-inference-on-multinliaESIM
Matched: 73.9
Mismatched: 73.9
natural-language-inference-on-quora-questionaESIM
Accuracy: 88.01
natural-language-inference-on-snliaESIM
% Test Accuracy: 88.1

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
注意力增强的序列推理模型 | 论文 | HyperAI超神经