4 个月前

一种简单有效的故事完形测试方法

一种简单有效的故事完形测试方法

摘要

在故事完形填空测试中,系统会接收一个包含四句话的故事开头提示,并需要判断两个可能的结局中哪一个才是“正确”的故事结局。先前的研究表明,忽略训练集而仅在验证集上训练模型可以在这个任务上取得高精度,原因在于训练集中的故事结局与验证集和测试集中的结局存在风格上的差异。基于这一方法,我们提出了一种更为简单的全神经网络方法来解决故事完形填空测试,该方法利用了故事的跳思嵌入(skip-thought embeddings)并通过前馈网络实现,在无需任何特征工程的情况下达到了接近最先进水平的性能。此外,我们发现只考虑提示的最后一句话而不是整个提示,在我们的方法下可以带来更高的准确率。

基准测试

基准方法指标
question-answering-on-storyclozeval-LS-skip
Accuracy: 76.5

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
一种简单有效的故事完形测试方法 | 论文 | HyperAI超神经