本文旨在提出一种计算成本低廉 yet 效果显著的细粒度图像分类（Fine-Grained Image Classification, FGIC）方法。与以往依赖复杂部件定位模块的方法不同，本方法通过增强全局特征中子特征的语义信息来学习细粒度特征。具体而言，我们首先通过通道重排（channel permutation）将卷积神经网络（CNN）的特征通道划分为若干组，从而实现对子特征语义的显式建模。同时，为提升子特征的判别能力，引入加权组合正则化策略，引导各组特征在具有强判别性的物体局部区域上激活。所提方法参数量少，可作为即插即用模块无缝集成至主干网络中，仅需图像级别标签即可实现端到端训练。实验结果验证了该方法的有效性，并表明其性能可与当前最先进方法相媲美。代码已开源，地址为：https://github.com/cswluo/SEF。