摘要

深度神经网络在视觉识别和语言理解任务中已变得无处不在。然而，由于模型体积庞大，通常无法在移动电话或智能手表等设备上使用典型的神经网络，因为这些设备的内存有限。虽然这些设备可以利用运行在高性能数据中心（配备CPU或GPU）上的机器学习模型，但这对于许多应用来说并不可行，因为数据可能涉及隐私问题，且推理需要直接在设备上进行。我们提出了一种新的架构，用于通过联合优化框架训练紧凑型神经网络。该架构的核心是一种新颖的目标函数，它同时使用两种不同类型的网络进行训练——一种是完整的训练神经网络（采用现有的前馈神经网络或LSTM递归神经网络等架构），另一种是更简单的“投影”网络，该网络利用随机投影将输入或中间表示转换为比特。较简单的网络在比特空间中编码轻量级且计算效率高的操作，具有较低的内存占用。这两种网络通过反向传播算法进行联合训练，“投影”网络从完整网络中学习类似学徒制的方式。训练完成后，较小的网络可以直接用于低内存和计算成本下的推理。我们在视觉识别和文本分类任务中展示了新方法的有效性，显著减少了不同类型神经网络的内存需求，同时保持了良好的准确性。此外，我们还利用这一新框架研究了“解决给定任务需要多少个神经比特？”的问题，并展示了多个数据集上的模型预测能力（以比特为单位）与准确率之间的实证对比结果。