
摘要
分割高度重叠的物体是一项挑战,因为通常不会对真实物体轮廓和遮挡边界进行区分。与以往的两阶段实例分割方法不同,我们将图像形成过程建模为两个重叠层的组合,并提出了双层卷积网络(Bilayer Convolutional Network, BCNet),其中顶层的图卷积网络(GCN)检测遮挡物体(occluder),而底层的图卷积网络推断部分被遮挡的实例(occludee)。通过双层结构显式建模遮挡关系,自然地分离了遮挡物和被遮挡物的边界,并在掩码回归过程中考虑了它们之间的相互作用。我们在具有不同骨干网络和网络层选择的一阶段和两阶段目标检测器上验证了双层解耦的有效性。尽管其结构简单,但在COCO和KINS数据集上的大量实验表明,我们的遮挡感知BCNet在重度遮挡情况下特别取得了显著且一致的性能提升。代码可在https://github.com/lkeab/BCNet获取。
代码仓库
lkeab/BCNet
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| amodal-instance-segmentation-on-walt | BCNet | AP: 73.2 |
| instance-segmentation-on-coco | BCNet(ResNeXt-101 + FPN+ FCOS) | mask AP: 41.7 |
| instance-segmentation-on-coco | BCNet(ResNet-101-FPN + FCOS) | AP50: 61.2 AP75: 42.7 APL: 51.0 APM: 42.3 APS: 22.3 mask AP: 39.6 |
| instance-segmentation-on-coco | BCNet(ResNet-101-FPN + Faster RCNN) | AP50: 61.5 AP75: 43.1 APL: 51.1 APM: 42.4 APS: 22.7 mask AP: 39.8 |
| instance-segmentation-on-kins | BCNet | mAP: 28.87 |