3 个月前

FocalClick:迈向实用的交互式图像分割

FocalClick:迈向实用的交互式图像分割

摘要

交互式分割允许用户通过点击正样本或负样本的方式提取目标掩码。尽管此前已有大量研究探索该方向,但学术方法与工业应用需求之间仍存在明显差距:首先,现有模型在低功耗设备上的运行效率不足;其次,当用于优化已有掩码时,模型表现不佳,容易误删正确区域。FocalClick 通过在局部区域预测并更新掩码,同时解决了上述两个问题。为提升效率,我们提出将全图缓慢的预测过程分解为两个快速推理步骤:在目标区域(Target Crop)进行粗略分割,在关注区域(Focus Crop)进行局部精细化调整。为支持与已有掩码协同工作,我们引入一项新任务——交互式掩码修正(Interactive Mask Correction),并提出“渐进融合”(Progressive Merge)作为解决方案。该方法利用形态学信息判断应保留或更新的区域,使用户能够高效地对任意已有掩码进行精细化修正。实验表明,FocalClick 在保持与当前最优(SOTA)方法相当性能的同时,显著降低了计算量(FLOPs),且在修正已有掩码方面展现出显著优势。代码与数据将公开于 github.com/XavierCHEN34/ClickSEG。

代码仓库

XavierCHEN34/ClickSEG
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
interactive-segmentation-on-berkeleyFocalClick-B3-S2
NoC@90: 1.48
interactive-segmentation-on-davisFocalClick-B3-S2
NoC@85: 2.92
NoC@90: 4.52
interactive-segmentation-on-davis-585FocalClick-B3-S2
NoC@90: 2.76
interactive-segmentation-on-sbdFocalClick
NoC@85: 3.53
NoC@90: 5.59

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
FocalClick:迈向实用的交互式图像分割 | 论文 | HyperAI超神经