4 个月前

挤压-激励网络

挤压-激励网络

摘要

卷积神经网络(CNNs)的核心构建模块是卷积运算符,它使得网络能够在每一层的局部感受野内通过融合空间和通道信息来构建有信息量的特征。大量先前的研究探讨了这种关系中的空间成分,旨在通过提高整个特征层次结构中空间编码的质量来增强CNN的表示能力。在本研究中,我们则重点关注通道关系,并提出了一种新颖的架构单元,即“挤压与激励”(Squeeze-and-Excitation, SE)块,该单元通过显式建模通道之间的相互依赖关系来自适应地重新校准通道特征响应。我们展示了这些块可以堆叠在一起形成SENet架构,该架构在不同数据集上具有极强的泛化能力。此外,我们还证明了SE块在计算成本略有增加的情况下,能够显著提升现有最先进CNNs的性能。基于SENet的网络构成了我们在ILSVRC 2017分类竞赛中的提交方案,并最终获得了第一名,将前五错误率降低至2.251%,相比2016年的获胜者相对提高了约25%。模型和代码可在https://github.com/hujie-frank/SENet 获取。

代码仓库

secretlyvogon/IndRNNTF
tf
GitHub 中提及
varshaneya/Res-SE-Net
pytorch
GitHub 中提及
exekudos/se-resnet
GitHub 中提及
AI-Huang/SENet
tf
GitHub 中提及
wolny/pytorch-3dunet
pytorch
GitHub 中提及
kobiso/CBAM-keras
tf
GitHub 中提及
albanie/mcnSENets
pytorch
GitHub 中提及
ArivCR7/Melanoma_Classifier
pytorch
GitHub 中提及
mhorton19/CNN-Kernel-Attention
pytorch
GitHub 中提及
ioanvl/1d_squeeze_excitation
pytorch
GitHub 中提及
albanie/collaborative-experts
pytorch
GitHub 中提及
Roypic/Attention_Code
pytorch
GitHub 中提及
alibabasglab/frcrn
pytorch
GitHub 中提及
hikapok/tf-senet
tf
GitHub 中提及
mnikitin/channel-attention
mxnet
GitHub 中提及
moskomule/senet.pytorch
pytorch
GitHub 中提及
syiin/human_protein_atlas
pytorch
GitHub 中提及
e96031413/PyTorch_YOLOv4-tiny
pytorch
GitHub 中提及
e96031413/AA-YOLO
pytorch
GitHub 中提及
kobiso/CBAM-tensorflow-slim
tf
GitHub 中提及
abhi4ssj/squeeze_and_excitation
pytorch
GitHub 中提及
hujie-frank/SENet
官方
tf
GitHub 中提及
facebookresearch/ClassyVision
pytorch
GitHub 中提及
mnikitin/ECANet
mxnet
GitHub 中提及
Knight825/models-pytorch
pytorch
GitHub 中提及
harshit0511/Deep-Learning
tf
GitHub 中提及
IMvision12/keras-vision-models
pytorch
GitHub 中提及
ifrit98/bengaliai
GitHub 中提及
osmr/imgclsmob
mxnet
GitHub 中提及
RayXie29/SENet_Keras
GitHub 中提及
Mind23-2/MindCode-72
mindspore
GitHub 中提及
rishikksh20/ResUnet
pytorch
GitHub 中提及
kobiso/CBAM-tensorflow
tf
GitHub 中提及
DarshanDeshpande/jax-models
jax
GitHub 中提及
Deci-AI/super-gradients
pytorch
GitHub 中提及
highwaywu/tianchi-fft2
pytorch
GitHub 中提及
ahtwq/SENet
pytorch
GitHub 中提及
ai-med/squeeze_and_excitation
pytorch
GitHub 中提及

基准测试

基准方法指标
image-classification-on-cifar-10SENet + ShakeShake + Cutout
Percentage correct: 97.88
image-classification-on-cifar-100SENet + ShakeEven + Cutout
Percentage correct: 84.59
object-detection-on-dsecSENet
mAP: 26.2
object-detection-on-pku-ddd17-carSENet
mAP50: 81.6

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
挤压-激励网络 | 论文 | HyperAI超神经