摘要

语义分割模型在扩展到大量物体类别时存在局限性。本文中，我们引入了一项新的任务——零样本语义分割：在没有训练样本的情况下学习从未见过的物体类别的像素级分类器。为此，我们提出了一种新颖的架构ZS3Net，该架构结合了深度视觉分割模型和从语义词嵌入生成视觉表示的方法。通过这种方式，ZS3Net解决了测试时同时面对已见和未见类别的像素分类任务（即所谓的“广义”零样本分类）。此外，通过一个依赖于自动伪标记未见类别像素的自训练步骤，性能得到了进一步提升。在两个标准分割数据集Pascal-VOC和Pascal-Context上，我们提出了零样本基准测试并设定了具有竞争力的基线。对于像Pascal-Context数据集中那样的复杂场景，我们通过使用图上下文编码来充分利用来自类别分割图的空间上下文先验信息，从而扩展了我们的方法。