
摘要
机器阅读理解中的不可回答问题旨在在无法推断答案时避免作答。除了提取答案外,以往的研究通常还会预测一个额外的“无答案”概率来检测不可回答的情况。然而,这些方法未能通过验证预测答案的有效性来确认问题的可回答性。为了解决这一问题,我们提出了一种新颖的读取-然后-验证系统,该系统不仅利用神经阅读器提取候选答案并生成无答案概率,还借助答案验证器来判断预测的答案是否被输入片段所蕴含。此外,我们引入了两种辅助损失函数,以帮助阅读器更好地处理答案提取和无答案检测,并研究了三种不同的答案验证器架构。我们在SQuAD 2.0数据集上的实验表明,该系统在测试集上达到了74.2的F1分数,在提交时(2018年8月28日)取得了当时最先进的结果。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| question-answering-on-squad20 | Reinforced Mnemonic Reader + Answer Verifier (single model) | EM: 71.767 F1: 74.295 |
| question-answering-on-squad20-dev | RMR + ELMo (Model-III) | EM: 72.3 F1: 74.8 |