3 个月前

MST:自适应多尺度Token引导的交互式分割

MST:自适应多尺度Token引导的交互式分割

摘要

交互式分割因其在人机交互与数据标注中的广泛应用而受到广泛关注。为解决交互式分割中目标尺度变化带来的挑战,本文提出一种新颖的多尺度令牌自适应算法。该算法通过在多尺度令牌上执行 top-k 操作,显著降低了计算复杂度,同时保证了模型性能。为进一步提升多尺度令牌选择的鲁棒性,本文还提出一种基于对比损失(contrastive loss)的令牌学习算法,能够有效增强多尺度令牌自适应的效果。大量基准测试结果表明,该方法在性能上达到当前最优(SOTA)水平,优于现有主流方法。相关交互式演示系统及全部可复现代码将开源发布于 https://github.com/hahamyt/mst。

代码仓库

hahamyt/mst
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
interactive-segmentation-on-berkeleyViT-B+MST+CL
NoC@90: 1.50
interactive-segmentation-on-coco-minivalViT-B+MST+CL
NoC@85: 2.08
NoC@90: 2.85
interactive-segmentation-on-davisViT-B+MST+CL
NoC@90: 4.55
interactive-segmentation-on-davis-585ViT-B+MST+CL
NoC@85: 1.80
NoC@90: 2.29
interactive-segmentation-on-grabcutViT-B+MST+CL
NoC@90: 1.48
interactive-segmentation-on-pascalvocViT-B+MST+CL
NoC@85: 1.69
NoC@90: 1.90
interactive-segmentation-on-sbdViT-B+MST+CL
NoC@85: 3.03

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
MST:自适应多尺度Token引导的交互式分割 | 论文 | HyperAI超神经