摘要

近年来，开放词汇语义分割问题受到越来越多关注，当前表现最优的方法多基于双流网络架构：其中一路用于生成候选掩码，另一路则利用预训练的视觉-语言模型进行分割分类。然而，现有双流方法需将大量图像裁剪块（最多可达一百个）输入视觉-语言模型，导致计算效率极低。为解决这一问题，我们提出一种新网络架构，仅需对每张输入图像进行一次通过视觉-语言模型的前向传播即可完成推理。具体而言，我们首先提出一种新颖的网络适配方法——“块切断”（patch severance），用以抑制预训练视觉编码器中图像块嵌入之间的有害干扰；随后引入分类锚点学习（classification anchor learning）机制，引导网络在空间上聚焦更具判别性的特征以提升分类性能。大量实验表明，所提方法在性能上显著超越现有最先进方法，且推理速度提升4至7倍。代码已开源：https://github.com/CongHan0808/DeOP.git