3 个月前

分组逐点卷积在卷积神经网络中减少参数量

分组逐点卷积在卷积神经网络中减少参数量

摘要

在深度卷积神经网络(DCNNs)中,逐点卷积(pointwise convolutions)的参数量会因前一层输出通道数与卷积核数量的乘积而迅速增长。为应对这一增长问题,本文提出一种新型技术,通过引入并行分支结构实现逐点卷积的参数高效化:每个分支包含一组卷积核,仅处理输入通道的一部分。为避免削弱DCNN的模型学习能力,我们在连续逐点卷积的中间层引入滤波器输出的交错(interleaving)机制,以增强特征融合能力。为验证所提方法的有效性,我们将该技术应用于多种前沿DCNN架构,包括EfficientNet、DenseNet-BC L100、MobileNet以及MobileNet V3 Large。在CIFAR-10、CIFAR-100、Cropped-PlantDoc和Oxford-IIIT Pet四个数据集上,对比了采用与不采用该方法的模型性能。实验结果表明,使用所提技术从零开始训练的DCNN模型,在测试准确率上与原始的EfficientNet和MobileNet V3 Large架构相当,同时实现了最高达90%的参数量压缩和63%的浮点运算量减少。

基准测试

基准方法指标
image-classification-on-cifar-10kDenseNet-BC L100 12ch
Percentage correct: 90.83
image-classification-on-cifar-10kEffNet-B0 32ch
Percentage correct: 93.75
image-classification-on-cifar-10kMobileNet V3 Large 16ch
Percentage correct: 92.74
image-classification-on-cifar-10kMobileNet 16ch
Percentage correct: 89.81
image-classification-on-cifar-100kMobileNet V3 Large 16ch
PARAMS: 0.52M
Percentage correct: 71.36
image-classification-on-oxford-iiit-petskMobileNet V3 Large 16ch
Accuracy: 60.4
FLOPS: 81.0M
PARAMS: 0.36M
image-classification-on-plantdockMobileNet V3 Large 16ch
PARAMS: 0.43M

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
分组逐点卷积在卷积神经网络中减少参数量 | 论文 | HyperAI超神经