4 个月前

深度交互式对象选择

深度交互式对象选择

摘要

交互式对象选择是一个非常重要的研究问题,具有广泛的应用。以往的算法需要大量的用户交互来估计前景和背景分布。本文提出了一种基于深度学习的新算法,该算法对对象性有更深的理解,因此可以将用户交互减少到仅需几次点击。我们的算法将用户提供的正负点击转换为两个欧氏距离图,并将其与图像的RGB通道连接起来,组成(图像,用户交互)对。我们通过结合几种随机采样策略来模拟用户的点击模式,生成了许多这样的对,并用它们来微调深度全卷积网络(FCNs)。最后,我们将FCN 8s模型的输出概率图与图割优化相结合,以细化边界段。我们的模型在PASCAL分割数据集上进行训练,并在其他包含不同对象类别的数据集上进行评估。实验结果表明,无论是已见过的对象还是未见过的对象,我们的算法都表现出良好的泛化能力和优于所有现有的交互式对象选择方法。

代码仓库

基准测试

基准方法指标
interactive-segmentation-on-davisDOS with GC
NoC@85: 9.03
NoC@90: 12.58
interactive-segmentation-on-davisDOS w/o GC
NoC@85: 12.52
NoC@90: 17.11
interactive-segmentation-on-grabcutDOS w/o GC
NoC@85: 8.02
NoC@90: 12.59
interactive-segmentation-on-grabcutDOS with GC
NoC@85: 5.08
NoC@90: 6.08
interactive-segmentation-on-sbdDOS with GC
NoC@85: 9.22
NoC@90: 12.80
interactive-segmentation-on-sbdDOS w/o GC
NoC@85: 14.30
NoC@90: 16.79

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
深度交互式对象选择 | 论文 | HyperAI超神经