摘要

与使用像素级掩码标签的完全监督方法不同，基于框的实例分割利用了简单的框注释，近年来逐渐吸引了越来越多的研究关注。本文提出了一种新颖的单次实例分割方法——Box2Mask，该方法将经典的水平集演化模型融入深度神经网络学习中，仅通过边界框监督即可实现精确的掩码预测。具体而言，输入图像及其深度特征被用于隐式地演化水平集曲线，并且基于像素亲和核的局部一致性模块用于挖掘局部上下文和空间关系。开发了两种类型的单阶段框架，即基于CNN和基于Transformer的框架，以增强水平集演化在基于框的实例分割中的能力，每个框架包含三个关键组件：实例感知解码器、框级匹配分配和水平集演化。通过最小化水平集能量函数，可以在每个实例的边界框注释内迭代优化其掩码图。在涵盖一般场景、遥感、医学和场景文本图像的五个具有挑战性的测试平台上进行的实验结果表明，所提出的Box2Mask方法在基于框的实例分割中表现出色。特别是使用Swin-Transformer大模型作为主干时，我们的Box2Mask在COCO数据集上获得了42.4%的掩码AP（平均精度），与最近开发的完全掩码监督方法相当。代码可在以下地址获取：https://github.com/LiWentomng/boxlevelset。