摘要

本文提出了一种基于预训练视觉-语言模型的开放词汇语义分割新框架，名为侧边适配网络（Side Adapter Network, SAN）。我们的方法将语义分割任务建模为区域识别问题。在冻结的CLIP模型上附加一个轻量级侧边网络，该网络包含两个分支：一个用于预测掩码提议（mask proposals），另一个用于预测注意力偏置（attention bias），该偏置被引入CLIP模型以识别掩码所属类别。这种解耦设计使CLIP模型能够更有效地识别掩码提议的类别。由于侧边网络可复用CLIP的特征表示，因此其自身参数量极小。此外，整个网络可实现端到端训练，使侧边网络能够自适应地适配冻结的CLIP模型，从而生成具有CLIP感知能力的掩码提议。我们的方法在保持高精度的同时具备极快的推理速度，且仅引入少量可训练参数。我们在多个语义分割基准上对所提方法进行了评估，结果表明，相较于现有方法，本方法在性能上显著领先，同时可训练参数减少最多达18倍，推理速度提升最高达19倍。我们期望该方法能成为开放词汇语义分割领域的一个坚实基线，推动未来相关研究的发展。代码将公开于：https://github.com/MendelXu/SAN。