摘要

我们介绍了一种新的模型——循环实体网络（Recurrent Entity Network，简称EntNet）。该模型配备了一个动态的长期记忆模块，能够随着新数据的输入持续维护并更新世界状态的表示。在语言理解任务中，它不仅能在需要回答问题或作出回应时进行推理，还能在阅读文本的过程中即时进行推理（Sukhbaatar等人，2015年）。类似于神经图灵机或可微分神经计算机（Graves等人，2014年；2016年），EntNet保持一个固定大小的记忆，并能学习执行基于位置和内容的读写操作。然而，与这些模型不同的是，EntNet具有简单的并行架构，可以同时更新多个记忆位置。EntNet在bAbI任务上创造了新的最先进水平，并且是在10k训练样本设置下首个解决所有任务的方法。我们还证明了它能够解决需要大量支持事实的推理任务，而其他方法则无法解决此类任务，并且其推理能力可以超出训练范围。此外，EntNet还可以实际应用于大规模数据集，如儿童图书测试，在单次遍读故事的情况下取得了具有竞争力的表现。