摘要

现实世界中的物体识别应用通常需要在一个平台上解决多个任务。在传统的网络微调范式下，每个任务都需要学习一个全新的卷积神经网络（CNN），且最终的网络规模与任务复杂度无关。这种做法是浪费资源的，因为简单任务所需的网络规模比复杂任务小得多，从而限制了可以同时解决的任务数量。为了解决这些问题，我们提出了一种迁移学习方法，称为NetTailor，该方法利用预训练的CNN层作为通用模块，这些模块可以与小型任务特定层结合以生成新的网络。除了最小化分类误差外，新网络还被训练以模仿强大的无约束CNN的内部激活，并通过1）块上的软注意力机制和2）复杂度正则化约束来最小化其复杂度。这样，NetTailor不仅可以调整网络的权重，还可以适应目标任务的网络架构。实验表明，针对字符或交通标志识别等简单任务进行适应的网络显著小于针对细粒度识别等困难任务进行适应的网络。更重要的是，由于该方法具有模块化特性，因此在网络复杂度降低的同时不会影响跨任务参数共享或分类准确性。