摘要

我们提出了一种路由算法，该算法接收一个向量序列，并生成一个指定长度和向量维度的新序列。每个输出向量通过更准确地预测输入向量，以最大化“单位比特效益”（bang per bit），即使用数据带来的净收益与忽略数据所导致的净成本之间的差值。我们将输出向量描述为几何对象、作为分配信用的隐变量、作为联想记忆模型中的查询状态，以及作为“心灵社会模型”（Society of Mind）中的代理。通过引入一系列优化措施，该算法将参数量、计算开销和内存占用降低了数个数量级，从而实现了比以往更长序列的路由处理。我们在自然语言处理与视觉分类任务上对所实现的算法进行了评估，结果表明其在准确率上达到竞争力或领先水平，并能实现端到端的可解释信用分配。