3 个月前

MUXConv:卷积神经网络中的信息多路复用

MUXConv:卷积神经网络中的信息多路复用

摘要

近年来,卷积神经网络在计算效率方面取得了显著提升。其中一项关键驱动力在于,通过结合使用 $1\times1$ 卷积与深度可分离卷积(depth-wise separable convolutions),替代传统的标准卷积层,实现了模型表达能力与计算效率之间的权衡。然而,这种效率提升的代价是网络中空间与通道间信息流动的次优表现。为克服这一局限,本文提出 MUXConv 层,该层通过逐步对通道信息与空间信息进行多路复用(multiplexing),有效增强网络中的信息流动,同时控制计算复杂度的增加。为进一步验证 MUXConv 的有效性,我们将其集成至一种高效的多目标进化算法中,用于联合搜索最优模型超参数,同时优化模型的准确率、紧凑性与计算效率。在 ImageNet 数据集上,所构建的模型(称为 MUXNet)在 Top-1 准确率(75.3%)与乘加操作数(218M)方面与 MobileNetV3 相当,但模型体积缩小了 1.6 倍,且在准确率、紧凑性与计算效率三项指标上均优于其他移动端模型。此外,MUXNet 在迁移学习任务以及目标检测任务中也表现出优异性能。在 ChestX-Ray 14 基准测试中,其准确率达到当前最先进水平,同时模型体积缩小 3.3 倍,计算效率提升 14 倍。在 PASCAL VOC 2007 目标检测任务中,相比 MobileNetV2,MUXNet 实现了 1.2% 的准确率提升,推理速度加快 28%,且模型体积减少 6%。相关代码已开源,可访问 https://github.com/human-analysis/MUXConv。

代码仓库

基准测试

基准方法指标
architecture-search-on-cifar-10-imageMUXNet-m
FLOPS: 200M
Params: 2.1M
Percentage error: 2.0
image-classification-on-cifar-10MUXNet-m
Percentage correct: 98.0
Top-1 Accuracy: 98.0
image-classification-on-cifar-100MUXNet-m
PARAMS: 2.1M
Percentage correct: 86.1
image-classification-on-imagenetMUXNet-s
GFLOPs: 0.234
Number of params: 2.4M
Top 1 Accuracy: 71.6%
image-classification-on-imagenetMUXNet-l
GFLOPs: 0.636
Number of params: 4.0M
Top 1 Accuracy: 76.6%
image-classification-on-imagenetMUXNet-m
GFLOPs: 0.436
Number of params: 3.4M
Top 1 Accuracy: 75.3%
image-classification-on-imagenetMUXNet-xs
GFLOPs: 0.132
Number of params: 1.8M
Top 1 Accuracy: 66.7%
neural-architecture-search-on-cifar-10MUXNet-m
FLOPS: 200M
Parameters: 2.1M
Top-1 Error Rate: 2.0%
neural-architecture-search-on-cifar-100-1MUXNet-m
FLOPS: 200M
PARAMS: 2.1M
Percentage Error: 13.9
neural-architecture-search-on-imagenetMUXNet-l
Accuracy: 76.6
MACs: 318M
Params: 4.0M
Top-1 Error Rate: 23.4
neural-architecture-search-on-imagenetMUXNet-m
Accuracy: 75.3
MACs: 218M
Params: 3.4M
Top-1 Error Rate: 24.7
neural-architecture-search-on-imagenetMUXNet-s
Accuracy: 71.6
MACs: 117M
Params: 2.4M
Top-1 Error Rate: 28.4
neural-architecture-search-on-imagenetMUXNet-xs
Accuracy: 66.7
MACs: 66M
Params: 1.8M
Top-1 Error Rate: 33.3
pneumonia-detection-on-chestx-ray14MUXNet-m
AUROC: 0.841
FLOPS: 200M
Params: 2.1M
semantic-segmentation-on-ade20kMUXNet-m + PPM
Validation mIoU: 35.8
semantic-segmentation-on-ade20kMUXNet-m + C1
Validation mIoU: 32.42

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
MUXConv:卷积神经网络中的信息多路复用 | 论文 | HyperAI超神经