摘要

在近期胶囊网络研究的基础上，我们提出了一种新型、通用的“基于共识的路由”机制，该机制根据输出胶囊对前层输入胶囊的净收益与忽略它们的净成本，动态激活某一层中的输出胶囊。为展示该路由算法的有效性，我们构建了两个应用于不同领域的胶囊网络：视觉与自然语言处理。第一个网络在smallNORB视觉识别任务上取得了99.1%的新最优准确率，参数量更少，且训练量较以往胶囊模型减少一个数量级，我们还发现该模型具备学习“逆向图形”（reverse graphics）能力的证据。第二个网络在斯坦福情感树库（Stanford Sentiment Treebank）的句子根节点分类任务上也达到了新的最优性能：细粒度标签准确率达58.5%，二分类标签准确率达95.6%，其采用单任务模型，将预训练Transformer的冻结嵌入表示作为胶囊进行路由。在两个领域中，我们均采用相同的训练策略。代码已开源，地址为 https://github.com/glassroom/heinsen_routing，并附有完整的复现说明。