摘要

半监督语义分割（SSSS）已被提出以减轻耗时的像素级手动标注负担，该方法利用有限的标注数据和大量未标注数据。目前最先进的方法通过真实标签训练标注数据，并通过伪标签训练未标注数据。然而，这两种训练流程是分开的，这使得标注数据在训练过程中占据主导地位，导致伪标签质量较低，从而影响最终结果。为了解决这一问题，我们提出了 AllSpark，该方法通过通道交叉注意力机制从未标注特征中重新生成标注特征。我们进一步引入了语义记忆模块和通道语义分组策略，以确保未标注特征能够充分代表标注特征。AllSpark 在架构层面而非框架层面对 SSSS 进行了创新设计，避免了日益复杂的训练管道设计。此外，AllSpark 可被视为一个灵活的瓶颈模块，可以无缝集成到基于变压器的一般分割模型中。在 Pascal、Cityscapes 和 COCO 基准测试中，所提出的 AllSpark 在所有评估协议下均优于现有方法，无需额外复杂的技巧。代码和模型权重可在以下链接获取：https://github.com/xmed-lab/AllSpark。