摘要

我们介绍了SegGPT，这是一种用于上下文中分割一切的一般模型。我们将各种分割任务统一到一个一般性的上下文学习框架中，通过将不同类型的分割数据转换为相同格式的图像来适应这些任务。SegGPT的训练被表述为一个上下文着色问题，每个数据样本都使用随机颜色映射。其目标是根据上下文完成多样化的任务，而不是依赖特定的颜色。经过训练后，SegGPT可以通过上下文推理在图像或视频中执行任意分割任务，例如对象实例分割、物质分割、部件分割、轮廓分割和文本分割。SegGPT在多种任务上进行了评估，包括少样本语义分割、视频对象分割、语义分割和全景分割。我们的结果显示，无论是定性还是定量分析，SegGPT在域内和域外目标的分割方面都表现出强大的能力。