摘要

由神经控制器和外部存储器组成的增强记忆神经网络在长期序列学习中展现出巨大潜力。目前，类似RAM的存储模型在每个时间步都维持着对存储器的访问，因此未能有效利用控制器中的短期记忆。我们假设这种写入方式在内存利用率上是次优的，并且引入了冗余计算。为了验证这一假设，我们推导出一个关于RAM类系统中存储信息量的理论上限，并构建了一个最大化该上限的优化问题。所提出的解决方案被称为均匀写入（Uniform Writing），在假设每个时间步贡献相等的情况下被证明是最优的。为了放宽这一假设，我们在原始解决方案的基础上进行了修改，从而得到了一种称为缓存均匀写入（Cached Uniform Writing）的方法。该方法旨在通过覆盖机制平衡最大化的记忆和遗忘过程。通过一系列广泛的实验，我们实证了我们的解决方案相较于其他循环架构的优势，并声称在各种序列建模任务中达到了最先进的水平。