3 个月前

基于内外引导的交互式物体分割

基于内外引导的交互式物体分割

摘要

本文探讨了如何在最小化人工交互成本的前提下,实现精确的物体分割掩码生成。为此,本文提出了一种“内外引导”(Inside-Outside Guidance, IOG)方法。具体而言,该方法利用一个位于目标物体中心附近的内部点击点,以及位于包围目标物体的紧密边界框对称角落(如左上与右下,或右上与左下)的两个外部点击点,总共仅需一次前景点击和四次背景点击即可完成分割标注。所提出的IOG方法具有四大优势:(1)两个外部点击点有助于排除其他物体或背景带来的干扰;(2)内部点击点可有效消除边界框内部与目标无关的区域;(3)内部与外部点击点直观易辨,显著降低了在处理极端样本时当前先进方法DEXTR易产生的标注混淆问题;(4)该方法天然支持后续添加额外点击进行进一步修正,具备良好的交互灵活性。尽管方法设计简洁,IOG在多个主流基准数据集上均达到了当前最优的分割性能,并展现出强大的跨领域泛化能力,适用于街景、航拍图像及医学图像等多种不同场景,且无需任何微调。此外,本文还提出了一种简单的两阶段解决方案,使IOG能够基于现有数据集中现成的边界框(如ImageNet和Open Images中的标注)生成高质量的实例分割掩码,充分体现了IOG作为标注工具的优越性。

基准测试

基准方法指标
interactive-segmentation-on-cityscapes-valIOG
Instance Average IoU: 83.8
interactive-segmentation-on-cocoIOG
Instance Average IoU: 85.2
interactive-segmentation-on-pascal2cocoIOG
Instance Average IoU: 82.1
interactive-segmentation-on-rooftopIOG
Instance Average IoU: 94.0
interactive-segmentation-on-sstemIOG
Instance Average IoU: 83.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于内外引导的交互式物体分割 | 论文 | HyperAI超神经