摘要

我们通过引入可训练的记忆寻址方案，将神经图灵机（NTM）模型扩展为动态神经图灵机（D-NTM）。该寻址方案为每个记忆单元维护两个独立的向量：内容向量和地址向量。这使得D-NTM能够学习多种基于位置的寻址策略，包括线性和非线性策略。我们分别实现了具有连续、可微分读写机制和离散、不可微分读写机制的D-NTM。我们通过在Facebook bAbI任务上使用前馈控制器和GRU控制器进行实验，研究了学习从记忆中读取和写入的机制及其效果。D-NTM在一系列Facebook bAbI任务上的表现优于NTM和LSTM基线模型。我们对我们的模型以及bAbI任务中的不同NTM变体进行了广泛的分析。此外，我们还提供了在顺序pMNIST、斯坦福自然语言推理、关联回忆和复制任务上的进一步实验结果。