4 个月前

读取+验证:包含不可回答问题的机器阅读理解

读取+验证:包含不可回答问题的机器阅读理解

摘要

机器阅读理解中的不可回答问题旨在在无法推断答案时避免作答。除了提取答案外,以往的研究通常还会预测一个额外的“无答案”概率来检测不可回答的情况。然而,这些方法未能通过验证预测答案的有效性来确认问题的可回答性。为了解决这一问题,我们提出了一种新颖的读取-然后-验证系统,该系统不仅利用神经阅读器提取候选答案并生成无答案概率,还借助答案验证器来判断预测的答案是否被输入片段所蕴含。此外,我们引入了两种辅助损失函数,以帮助阅读器更好地处理答案提取和无答案检测,并研究了三种不同的答案验证器架构。我们在SQuAD 2.0数据集上的实验表明,该系统在测试集上达到了74.2的F1分数,在提交时(2018年8月28日)取得了当时最先进的结果。

基准测试

基准方法指标
question-answering-on-squad20Reinforced Mnemonic Reader + Answer Verifier (single model)
EM: 71.767
F1: 74.295
question-answering-on-squad20-devRMR + ELMo (Model-III)
EM: 72.3
F1: 74.8

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
读取+验证:包含不可回答问题的机器阅读理解 | 论文 | HyperAI超神经