3 个月前

f-BRS:重新思考用于交互式分割的反向传播精炼

f-BRS:重新思考用于交互式分割的反向传播精炼

摘要

深度神经网络已成为交互式图像分割的主流方法。如我们在实验中所展示的,对于某些图像,经过训练的网络仅需少量点击即可提供准确的分割结果;然而,对于一些未知物体,即便输入大量用户交互信息,仍难以获得令人满意的结果。近期提出的反向传播精炼(Backpropagating Refinement, BRS)方法引入了一种针对交互式分割的优化框架,在处理困难样本时显著提升了性能。然而,BRS需要对深度网络进行多次前向与反向传播,导致每次点击的计算开销显著高于其他方法。为此,我们提出 f-BRS(特征反向传播精炼方案),该方法将优化问题转化为对辅助变量的求解,而非直接作用于网络输入,并仅需对网络的局部小部分进行前向与反向传播。在GrabCut、Berkeley、DAVIS和SBD等多个数据集上的实验表明,f-BRS在保持更高分割精度的同时,相比原始BRS实现了数量级降低的单次点击耗时,达到了新的最先进水平。相关代码与训练好的模型已开源,详见:https://github.com/saic-vul/fbrs_interactive_segmentation。

代码仓库

基准测试

基准方法指标
interactive-segmentation-on-berkeleyf-BRS-B (ResNet-50)
NoC@90: 4.34
interactive-segmentation-on-davisf-BRS-B (ResNet-101)
NoC@85: 5.04
NoC@90: 7.41
interactive-segmentation-on-grabcutf-BRS-B (ResNet-34)
NoC@85: 2
NoC@90: 2.46
interactive-segmentation-on-sbdf-BRS-B (ResNet-101)
NoC@85: 4.81
NoC@90: 7.73

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供