摘要

我们介绍了一种在可能较大的外部存储器上应用循环注意力模型的神经网络。该架构是一种记忆网络（Memory Network）(Weston等人，2015)，但与该工作中的模型不同，它采用端到端训练，因此在训练过程中需要的监督显著减少，使其在现实环境中更具普遍适用性。此外，该模型也可以视为RNNsearch的一种扩展，即每个输出符号执行多个计算步骤（跳步）。模型的灵活性使我们能够将其应用于多种任务，如（合成）问答和语言建模。对于前者，我们的方法在竞争性方面与记忆网络相当，但所需的监督较少；对于后者，在Penn TreeBank和Text8数据集上的实验表明，我们的方法性能可与递归神经网络（RNNs）和长短期记忆网络（LSTMs）相媲美。在这两种情况下，我们都证明了多跳计算这一关键概念可以带来更好的结果。