摘要
在深度卷积神经网络(DCNNs)中,逐点卷积(pointwise convolutions)的参数量会因前一层输出通道数与卷积核数量的乘积而迅速增长。为应对这一增长问题,本文提出一种新型技术,通过引入并行分支结构实现逐点卷积的参数高效化:每个分支包含一组卷积核,仅处理输入通道的一部分。为避免削弱DCNN的模型学习能力,我们在连续逐点卷积的中间层引入滤波器输出的交错(interleaving)机制,以增强特征融合能力。为验证所提方法的有效性,我们将该技术应用于多种前沿DCNN架构,包括EfficientNet、DenseNet-BC L100、MobileNet以及MobileNet V3 Large。在CIFAR-10、CIFAR-100、Cropped-PlantDoc和Oxford-IIIT Pet四个数据集上,对比了采用与不采用该方法的模型性能。实验结果表明,使用所提技术从零开始训练的DCNN模型,在测试准确率上与原始的EfficientNet和MobileNet V3 Large架构相当,同时实现了最高达90%的参数量压缩和63%的浮点运算量减少。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-classification-on-cifar-10 | kDenseNet-BC L100 12ch | Percentage correct: 90.83 |
| image-classification-on-cifar-10 | kEffNet-B0 32ch | Percentage correct: 93.75 |
| image-classification-on-cifar-10 | kMobileNet V3 Large 16ch | Percentage correct: 92.74 |
| image-classification-on-cifar-10 | kMobileNet 16ch | Percentage correct: 89.81 |
| image-classification-on-cifar-100 | kMobileNet V3 Large 16ch | PARAMS: 0.52M Percentage correct: 71.36 |
| image-classification-on-oxford-iiit-pets | kMobileNet V3 Large 16ch | Accuracy: 60.4 FLOPS: 81.0M PARAMS: 0.36M |
| image-classification-on-plantdoc | kMobileNet V3 Large 16ch | PARAMS: 0.43M |