摘要

本文介绍了强化记忆阅读器（Reinforced Mnemonic Reader）在机器阅读理解任务中的应用，该阅读器在两个方面对之前的注意力机制进行了改进。首先，提出了一种再注意力机制，通过直接访问多轮对齐架构中时间上存储的过去注意力来精炼当前的注意力，从而避免注意力冗余和注意力不足的问题。其次，引入了一种新的优化方法——动态关键强化学习（dynamic-critical reinforcement learning），以扩展标准监督方法。这种方法始终鼓励预测一个更可接受的答案，从而解决传统强化学习算法中出现的收敛抑制问题。在斯坦福问答数据集（Stanford Question Answering Dataset, SQuAD）上的大量实验表明，我们的模型达到了最先进的结果。同时，在两个对抗性的SQuAD数据集上，我们的模型在精确匹配（Exact Match）和F1分数这两个指标上均超过了之前系统超过6%的表现。