HyperAIHyperAI

Command Palette

Search for a command to run...

分组逐点卷积在卷积神经网络中减少参数量

Domenec Puig Hatem Rashwan Mohamed Abdel-Nasser Santiago Romani Joao Paulo Schwarz Schuler

摘要

在深度卷积神经网络(DCNNs)中,逐点卷积(pointwise convolutions)的参数量会因前一层输出通道数与卷积核数量的乘积而迅速增长。为应对这一增长问题,本文提出一种新型技术,通过引入并行分支结构实现逐点卷积的参数高效化:每个分支包含一组卷积核,仅处理输入通道的一部分。为避免削弱DCNN的模型学习能力,我们在连续逐点卷积的中间层引入滤波器输出的交错(interleaving)机制,以增强特征融合能力。为验证所提方法的有效性,我们将该技术应用于多种前沿DCNN架构,包括EfficientNet、DenseNet-BC L100、MobileNet以及MobileNet V3 Large。在CIFAR-10、CIFAR-100、Cropped-PlantDoc和Oxford-IIIT Pet四个数据集上,对比了采用与不采用该方法的模型性能。实验结果表明,使用所提技术从零开始训练的DCNN模型,在测试准确率上与原始的EfficientNet和MobileNet V3 Large架构相当,同时实现了最高达90%的参数量压缩和63%的浮点运算量减少。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
分组逐点卷积在卷积神经网络中减少参数量 | 论文 | HyperAI超神经