4 个月前

具有深度遮挡感知的重叠双层实例分割

具有深度遮挡感知的重叠双层实例分割

摘要

分割高度重叠的物体是一项挑战,因为通常不会对真实物体轮廓和遮挡边界进行区分。与以往的两阶段实例分割方法不同,我们将图像形成过程建模为两个重叠层的组合,并提出了双层卷积网络(Bilayer Convolutional Network, BCNet),其中顶层的图卷积网络(GCN)检测遮挡物体(occluder),而底层的图卷积网络推断部分被遮挡的实例(occludee)。通过双层结构显式建模遮挡关系,自然地分离了遮挡物和被遮挡物的边界,并在掩码回归过程中考虑了它们之间的相互作用。我们在具有不同骨干网络和网络层选择的一阶段和两阶段目标检测器上验证了双层解耦的有效性。尽管其结构简单,但在COCO和KINS数据集上的大量实验表明,我们的遮挡感知BCNet在重度遮挡情况下特别取得了显著且一致的性能提升。代码可在https://github.com/lkeab/BCNet获取。

代码仓库

lkeab/BCNet
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
amodal-instance-segmentation-on-waltBCNet
AP: 73.2
instance-segmentation-on-cocoBCNet(ResNeXt-101 + FPN+ FCOS)
mask AP: 41.7
instance-segmentation-on-cocoBCNet(ResNet-101-FPN + FCOS)
AP50: 61.2
AP75: 42.7
APL: 51.0
APM: 42.3
APS: 22.3
mask AP: 39.6
instance-segmentation-on-cocoBCNet(ResNet-101-FPN + Faster RCNN)
AP50: 61.5
AP75: 43.1
APL: 51.1
APM: 42.4
APS: 22.7
mask AP: 39.8
instance-segmentation-on-kinsBCNet
mAP: 28.87

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
具有深度遮挡感知的重叠双层实例分割 | 论文 | HyperAI超神经