摘要

基于多层感知机（MLP）的架构由一系列连续的多层感知机模块构成，近期研究发现其性能可与基于卷积神经网络（CNN）和Transformer的模型相媲美。然而，大多数现有方法采用固定维度输入的空间MLP结构，导致难以直接应用于目标检测、语义分割等下游视觉任务。此外，单阶段设计进一步限制了其在其他计算机视觉任务中的表现，而全连接层带来的计算开销也较为沉重。为解决上述问题，本文提出ConvMLP：一种面向视觉识别的分层卷积型MLP架构，该架构在轻量化、分阶段设计的基础上，实现了卷积层与MLP的协同优化。具体而言，ConvMLP-S在ImageNet-1k数据集上取得了76.8%的Top-1准确率，仅需900万参数和2.4G MACs，分别仅为MLP-Mixer-B/16的15%和19%。在目标检测与语义分割任务上的实验进一步表明，ConvMLP所学习到的视觉表征可实现无缝迁移，并在参数更少的情况下达到具有竞争力的性能。本文代码与预训练模型已开源，地址为：https://github.com/SHI-Labs/Convolutional-MLPs。