3 个月前

StepGame:面向文本中鲁棒多跳空间推理的新基准

StepGame:面向文本中鲁棒多跳空间推理的新基准

摘要

在自然语言中推断空间关系是智能系统应具备的一项关键能力。bAbI数据集试图捕捉与此领域相关的任务(任务17和任务19),但这些任务存在若干局限性:首先,它们仅限于固定的表达形式;其次,解决问题所需的推理步骤数量有限;最后,这些任务无法有效检验模型在面对包含无关或冗余信息输入时的鲁棒性。为此,本文提出一个名为StepGame的新问答数据集,旨在实现文本中鲁棒的多跳空间推理。实验结果表明,当前在bAbI数据集上表现最优的模型在StepGame数据集上表现显著下降。此外,我们提出了一种基于张量积的记忆增强型神经网络(TP-MANN),专门针对空间推理任务进行优化。在两个数据集上的实验结果均显示,所提模型在泛化能力和鲁棒性方面均显著优于所有基线模型。

代码仓库

基准测试

基准方法指标
question-answering-on-stepgameTP-MANN
1-of-100 Accuracy: 52.99

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
StepGame:面向文本中鲁棒多跳空间推理的新基准 | 论文 | HyperAI超神经