
摘要
卷积神经网络(CNNs)的核心构建模块是卷积运算符,它使得网络能够在每一层的局部感受野内通过融合空间和通道信息来构建有信息量的特征。大量先前的研究探讨了这种关系中的空间成分,旨在通过提高整个特征层次结构中空间编码的质量来增强CNN的表示能力。在本研究中,我们则重点关注通道关系,并提出了一种新颖的架构单元,即“挤压与激励”(Squeeze-and-Excitation, SE)块,该单元通过显式建模通道之间的相互依赖关系来自适应地重新校准通道特征响应。我们展示了这些块可以堆叠在一起形成SENet架构,该架构在不同数据集上具有极强的泛化能力。此外,我们还证明了SE块在计算成本略有增加的情况下,能够显著提升现有最先进CNNs的性能。基于SENet的网络构成了我们在ILSVRC 2017分类竞赛中的提交方案,并最终获得了第一名,将前五错误率降低至2.251%,相比2016年的获胜者相对提高了约25%。模型和代码可在https://github.com/hujie-frank/SENet 获取。
代码仓库
tsubasawb/DeepLearning_Paper
GitHub 中提及
TuSimple/neuron-selectivity-transfer
tf
GitHub 中提及
secretlyvogon/IndRNNTF
tf
GitHub 中提及
varshaneya/Res-SE-Net
pytorch
GitHub 中提及
williamwang96/Almond-Recognition
tf
GitHub 中提及
exekudos/se-resnet
GitHub 中提及
guide2157/ChulaXrayClassifier
GitHub 中提及
AI-Huang/SENet
tf
GitHub 中提及
open-mmlab/mmpose
pytorch
wolny/pytorch-3dunet
pytorch
GitHub 中提及
kobiso/CBAM-keras
tf
GitHub 中提及
albanie/mcnSENets
pytorch
GitHub 中提及
ArivCR7/Melanoma_Classifier
pytorch
GitHub 中提及
mhorton19/CNN-Kernel-Attention
pytorch
GitHub 中提及
Gideon0805/Tensorflow1.15-Model-Pruning
tf
GitHub 中提及
ioanvl/1d_squeeze_excitation
pytorch
GitHub 中提及
albanie/collaborative-experts
pytorch
GitHub 中提及
Roypic/Attention_Code
pytorch
GitHub 中提及
richardaecn/cvpr18-inaturalist-transfer
tf
GitHub 中提及
alibabasglab/frcrn
pytorch
GitHub 中提及
hikapok/tf-senet
tf
GitHub 中提及
mnikitin/channel-attention
mxnet
GitHub 中提及
moskomule/senet.pytorch
pytorch
GitHub 中提及
syiin/human_protein_atlas
pytorch
GitHub 中提及
2023-MindSpore-1/ms-code-37
mindspore
secretlyvogon/Neural-Network-Implementations
tf
GitHub 中提及
PaddlePaddle/PaddleClas
paddle
e96031413/PyTorch_YOLOv4-tiny
pytorch
GitHub 中提及
e96031413/AA-YOLO
pytorch
GitHub 中提及
Gideon0805/Tensorflow_Model_Pruning
tf
GitHub 中提及
kobiso/CBAM-tensorflow-slim
tf
GitHub 中提及
abhi4ssj/squeeze_and_excitation
pytorch
GitHub 中提及
hujie-frank/SENet
官方
tf
GitHub 中提及
facebookresearch/ClassyVision
pytorch
GitHub 中提及
mnikitin/ECANet
mxnet
GitHub 中提及
Knight825/models-pytorch
pytorch
GitHub 中提及
harshit0511/Deep-Learning
tf
GitHub 中提及
IMvision12/keras-vision-models
pytorch
GitHub 中提及
marload/ConvNets-TensorFlow2
tf
GitHub 中提及
open-mmlab/mmclassification
pytorch
ifrit98/bengaliai
GitHub 中提及
osmr/imgclsmob
mxnet
GitHub 中提及
RayXie29/SENet_Keras
GitHub 中提及
Mind23-2/MindCode-72
mindspore
GitHub 中提及
rishikksh20/ResUnet
pytorch
GitHub 中提及
fengjiqiang/pretrainedmodel_pytorch
pytorch
GitHub 中提及
Mind23-2/MindCode-70
mindspore
kobiso/CBAM-tensorflow
tf
GitHub 中提及
JHLee0513/Salt_detection_challenge
GitHub 中提及
HaloTrouvaille/YOLO-Multi-Backbones-Attention
pytorch
GitHub 中提及
Mayurji/Image-Classification-PyTorch
pytorch
GitHub 中提及
DarshanDeshpande/jax-models
jax
GitHub 中提及
Deci-AI/super-gradients
pytorch
GitHub 中提及
highwaywu/tianchi-fft2
pytorch
GitHub 中提及
ahtwq/SENet
pytorch
GitHub 中提及
xmu-xiaoma666/External-Attention-pytorch
pytorch
GitHub 中提及
ai-med/squeeze_and_excitation
pytorch
GitHub 中提及
PaddlePaddle/PaddleOCR
paddle
andrijdavid/clinical-brain-interface-2020
pytorch
GitHub 中提及
Legoons/Whale_Classification
GitHub 中提及
piotrplata/squeeze_excitation_keras
GitHub 中提及
yuranusduke/Shift_and_Balance_Attention
pytorch
GitHub 中提及
jihoojo03/UNet-CBAM_Keras
GitHub 中提及
mehrdad-noori/brain-tumor-segmentation
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-classification-on-cifar-10 | SENet + ShakeShake + Cutout | Percentage correct: 97.88 |
| image-classification-on-cifar-100 | SENet + ShakeEven + Cutout | Percentage correct: 84.59 |
| object-detection-on-dsec | SENet | mAP: 26.2 |
| object-detection-on-pku-ddd17-car | SENet | mAP50: 81.6 |