
摘要
深度神经网络已成为交互式图像分割的主流方法。如我们在实验中所展示的,对于某些图像,经过训练的网络仅需少量点击即可提供准确的分割结果;然而,对于一些未知物体,即便输入大量用户交互信息,仍难以获得令人满意的结果。近期提出的反向传播精炼(Backpropagating Refinement, BRS)方法引入了一种针对交互式分割的优化框架,在处理困难样本时显著提升了性能。然而,BRS需要对深度网络进行多次前向与反向传播,导致每次点击的计算开销显著高于其他方法。为此,我们提出 f-BRS(特征反向传播精炼方案),该方法将优化问题转化为对辅助变量的求解,而非直接作用于网络输入,并仅需对网络的局部小部分进行前向与反向传播。在GrabCut、Berkeley、DAVIS和SBD等多个数据集上的实验表明,f-BRS在保持更高分割精度的同时,相比原始BRS实现了数量级降低的单次点击耗时,达到了新的最先进水平。相关代码与训练好的模型已开源,详见:https://github.com/saic-vul/fbrs_interactive_segmentation。
代码仓库
PaddlePaddle/PaddleSeg
paddle
jpconnel/fbrs-segmentation
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| interactive-segmentation-on-berkeley | f-BRS-B (ResNet-50) | NoC@90: 4.34 |
| interactive-segmentation-on-davis | f-BRS-B (ResNet-101) | NoC@85: 5.04 NoC@90: 7.41 |
| interactive-segmentation-on-grabcut | f-BRS-B (ResNet-34) | NoC@85: 2 NoC@90: 2.46 |
| interactive-segmentation-on-sbd | f-BRS-B (ResNet-101) | NoC@85: 4.81 NoC@90: 7.73 |