3 个月前

通过零样本Segmentator提升现有Segmentator的性能

通过零样本Segmentator提升现有Segmentator的性能

摘要

本文探讨了利用SAM分割器提升现有分割方法性能的潜力。SAM是一种可提示(promptable)的分割系统,具备对未知物体和图像的零样本泛化能力,无需额外训练即可实现分割。其在GitHub上的开源特性使得该模型易于获取与部署。在实验中,我们通过提取DeepLabv3+生成的掩码所对应的检查点(checkpoints),将其输入SAM,进而融合两个网络提供的分割掩码,以提升整体分割性能。此外,我们还引入了“理想(oracle)”方法作为性能上限基准,该方法仅使用从真实标签(ground truth)中提取的检查点来驱动SAM进行分割。同时,在CAMO数据集上,我们测试了PVTv2 Transformer的集成模型,将该集成模型与SAM相结合,取得了该数据集上的最先进(state-of-the-art)性能。本研究结果为将SAM分割器融入现有分割技术提供了重要启示。本文随附开源代码实现,供学术界与工业界参考与复现。

基准测试

基准方法指标
camouflaged-object-segmentation-on-camoSAMFusion
MAE: 0.0560
Weighted F-Measure: 0.833

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
通过零样本Segmentator提升现有Segmentator的性能 | 论文 | HyperAI超神经