4 个月前

交互空间上的自然语言推理

交互空间上的自然语言推理

摘要

自然语言推理(NLI)任务要求智能体确定自然语言前提与自然语言假设之间的逻辑关系。我们引入了交互推理网络(Interactive Inference Network, IIN),这是一种新型的神经网络架构,能够通过分层提取交互空间中的语义特征来实现对句子对的高层次理解。我们证明了一个交互张量(注意力权重)包含了解决自然语言推理所需的语义信息,并且一个更密集的交互张量包含更丰富的语义信息。该架构的一个实例——密集交互推理网络(Densely Interactive Inference Network, DIIN)在大规模NLI语料库及其类似的大规模NLI语料库上展示了最先进的性能。值得注意的是,DIIN在具有挑战性的多类型自然语言推理(Multi-Genre NLI, MultiNLI)数据集上相对于最强的已发表系统实现了超过20%的错误率降低。

代码仓库

基准测试

基准方法指标
natural-language-inference-on-snli448D Densely Interactive Inference Network (DIIN, code) Ensemble
% Test Accuracy: 88.9
% Train Accuracy: 92.3
Parameters: 17m
natural-language-inference-on-snli448D Densely Interactive Inference Network (DIIN, code)
% Test Accuracy: 88.0
% Train Accuracy: 91.2
Parameters: 4.4m
paraphrase-identification-on-quora-questionDIIN
Accuracy: 89.06

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
交互空间上的自然语言推理 | 论文 | HyperAI超神经