HyperAIHyperAI

Command Palette

Search for a command to run...

强化记忆阅读器用于机器阅读理解

Minghao Hu Yuxing Peng Zhen Huang Xipeng Qiu Furu Wei Ming Zhou

摘要

本文介绍了强化记忆阅读器(Reinforced Mnemonic Reader)在机器阅读理解任务中的应用,该阅读器在两个方面对之前的注意力机制进行了改进。首先,提出了一种再注意力机制,通过直接访问多轮对齐架构中时间上存储的过去注意力来精炼当前的注意力,从而避免注意力冗余和注意力不足的问题。其次,引入了一种新的优化方法——动态关键强化学习(dynamic-critical reinforcement learning),以扩展标准监督方法。这种方法始终鼓励预测一个更可接受的答案,从而解决传统强化学习算法中出现的收敛抑制问题。在斯坦福问答数据集(Stanford Question Answering Dataset, SQuAD)上的大量实验表明,我们的模型达到了最先进的结果。同时,在两个对抗性的SQuAD数据集上,我们的模型在精确匹配(Exact Match)和F1分数这两个指标上均超过了之前系统超过6%的表现。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
强化记忆阅读器用于机器阅读理解 | 论文 | HyperAI超神经