交互式分割因其在人机交互与数据标注中的广泛应用而受到广泛关注。为解决交互式分割中目标尺度变化带来的挑战，本文提出一种新颖的多尺度令牌自适应算法。该算法通过在多尺度令牌上执行 top-k 操作，显著降低了计算复杂度，同时保证了模型性能。为进一步提升多尺度令牌选择的鲁棒性，本文还提出一种基于对比损失（contrastive loss）的令牌学习算法，能够有效增强多尺度令牌自适应的效果。大量基准测试结果表明，该方法在性能上达到当前最优（SOTA）水平，优于现有主流方法。相关交互式演示系统及全部可复现代码将开源发布于 https://github.com/hahamyt/mst。