HyperAIHyperAI

Command Palette

Search for a command to run...

OTSeg:用于零样本语义分割的多提示Sinkhorn注意力

Kwanyoung Kim Yujin Oh Jong Chul Ye

摘要

近期,CLIP模型的成功在零样本语义分割任务中展现出令人瞩目的性能,其通过将多模态知识迁移至像素级分类,实现了优异的泛化能力。然而,现有方法在利用预训练的CLIP知识以实现文本嵌入与像素嵌入的紧密对齐方面仍存在局限。为解决这一问题,本文提出OTSeg,一种新颖的多模态注意力机制,旨在增强多个文本提示与对应像素嵌入之间的匹配潜力。我们首先基于最优传输(Optimal Transport, OT)算法提出多提示Sinkhorn(Multi-Prompts Sinkhorn, MPS)方法,使多个文本提示能够选择性地聚焦于图像像素中的不同语义特征。此外,受单模态场景中Sinkformer成功应用的启发,我们进一步拓展MPS,提出多提示Sinkhorn注意力(Multi-Prompts Sinkhorn Attention, MPSA),该机制在多模态Transformer框架中可有效替代传统的交叉注意力模块。通过大量实验验证,OTSeg在三个基准数据集上的零样本语义分割(Zero-Shot Semantic Segmentation, ZS3)任务中均取得了当前最优(State-of-the-Art, SOTA)性能,显著提升了分割精度。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供