摘要

深度卷积神经网络的全连接层通常包含超过90%的网络参数，并且消耗了存储网络参数所需内存的大部分。在内存受限的环境中（如GPU或嵌入式设备）运行深度神经网络时，减少参数数量同时基本保持相同的预测性能至关重要。本文展示了如何利用核方法，特别是单个Fastfood层，来替代深度卷积神经网络中的所有全连接层。这种新颖的Fastfood层可以与卷积层一起进行端到端训练，使我们能够将其结合成一种新的架构，称为“深炸卷积网络”（Deep Fried Convolutional Networks），该架构在MNIST和ImageNet数据集上训练时，显著减少了卷积网络的内存占用，而不会降低预测性能。