摘要

近期，CLIP模型的成功在零样本语义分割任务中展现出令人瞩目的性能，其通过将多模态知识迁移至像素级分类，实现了优异的泛化能力。然而，现有方法在利用预训练的CLIP知识以实现文本嵌入与像素嵌入的紧密对齐方面仍存在局限。为解决这一问题，本文提出OTSeg，一种新颖的多模态注意力机制，旨在增强多个文本提示与对应像素嵌入之间的匹配潜力。我们首先基于最优传输（Optimal Transport, OT）算法提出多提示Sinkhorn（Multi-Prompts Sinkhorn, MPS）方法，使多个文本提示能够选择性地聚焦于图像像素中的不同语义特征。此外，受单模态场景中Sinkformer成功应用的启发，我们进一步拓展MPS，提出多提示Sinkhorn注意力（Multi-Prompts Sinkhorn Attention, MPSA），该机制在多模态Transformer框架中可有效替代传统的交叉注意力模块。通过大量实验验证，OTSeg在三个基准数据集上的零样本语义分割（Zero-Shot Semantic Segmentation, ZS3）任务中均取得了当前最优（State-of-the-Art, SOTA）性能，显著提升了分割精度。