4 个月前

U$^2$-Net:通过嵌套U结构深化显著性物体检测

U$^2$-Net:通过嵌套U结构深化显著性物体检测

摘要

在本文中,我们设计了一种简单而强大的深度网络架构——U$^2$-Net,用于显著目标检测(SOD)。U$^2$-Net 的架构是一种两级嵌套的 U 形结构。该设计具有以下优势:(1) 由于我们在提出的残差 U 块(ReSidual U-blocks, RSU)中混合了不同大小的感受野,因此能够从不同尺度捕获更多的上下文信息;(2) 通过在这些 RSU 块中使用池化操作,可以在不显著增加计算成本的情况下增加整个架构的深度。这种架构使我们能够在不依赖图像分类任务中的骨干网络的情况下,从零开始训练一个深层网络。我们实例化了两种模型:U$^2$-Net(176.3 MB,GTX 1080Ti GPU 上达到 30 FPS)和 U$^2$-Net$^{\dagger}$(4.7 MB,40 FPS),以适应不同的应用场景。这两种模型在六个 SOD 数据集上均取得了具有竞争力的性能。代码已公开:https://github.com/NathanUA/U-2-Net。

代码仓库

nadermx/backgroundremover
pytorch
GitHub 中提及
hhaAndroid/u2net
pytorch
GitHub 中提及
patharanordev/background-remover
pytorch
GitHub 中提及
alililia/u2net_Ascend
mindspore
GitHub 中提及
levindabhi/cloth-segmentation
pytorch
GitHub 中提及
PPPrior/u2net
pytorch
GitHub 中提及
RoadoneP/aloha
pytorch
GitHub 中提及
alililia/u2net_GPU
mindspore
GitHub 中提及
NathanUA/U-2-Net
官方
pytorch
GitHub 中提及
yangyucheng000/u2net
mindspore
GitHub 中提及
vaibhavmit074/remove-bg-2
pytorch
GitHub 中提及
kingcong/u2net
mindspore
GitHub 中提及
qooba/aiscissors
GitHub 中提及
dengpingfan/fsgan
pytorch
GitHub 中提及
He-jerry/U2Net-Tensorflow
tf
GitHub 中提及
chjort/u2net
tf
GitHub 中提及
lucidrains/imagen-pytorch
pytorch
GitHub 中提及
singhaman092/rembg
pytorch
GitHub 中提及
schenock/u2net-generic
pytorch
GitHub 中提及
soxHenry433/TF2_U2Model
tf
GitHub 中提及
xuebinqin/U-2-Net
pytorch
GitHub 中提及
hahahappyboy/GANForCartoon
pytorch
GitHub 中提及
sk1123344/U-2-NET-and-U-NET
pytorch
GitHub 中提及

基准测试

基准方法指标
dichotomous-image-segmentation-on-dis-te1U2Net
E-measure: 0.801
HCE: 224
MAE: 0.083
S-Measure: 0.760
max F-Measure: 0.694
weighted F-measure: 0.601
dichotomous-image-segmentation-on-dis-te2U2Net
E-measure: 0.833
HCE: 490
MAE: 0.085
S-Measure: 0.788
max F-Measure: 0.756
weighted F-measure: 0.668
dichotomous-image-segmentation-on-dis-te3U2Net
E-measure: 0.858
HCE: 965
MAE: 0.079
S-Measure: 0.809
max F-Measure: 0.798
weighted F-measure: 0.707
dichotomous-image-segmentation-on-dis-te4U2Net
E-measure: 0.847
HCE: 3653
MAE: 0.087
S-Measure: 0.807
max F-Measure: 0.795
weighted F-measure: 0.705
dichotomous-image-segmentation-on-dis-vdU2Net
E-measure: 0.823
HCE: 1413
MAE: 0.090
S-Measure: 0.781
max F-Measure: 0.748
weighted F-measure: 0.656
saliency-detection-on-dut-omronU2-Net+
Fwβ: 0.731
MAE: 0.06
Sm: 0.837
relaxFbβ: 0.676
{max}Fβ: 0.813
saliency-detection-on-dut-omronU2-Net
MAE: 0.054
saliency-detection-on-hku-isU2-Net+
Fwβ: 0.867
MAE: 0.037
Sm: 0.908
relaxFbβ: 0.794
{max}Fβ: 0.928
salient-object-detection-on-ecssd-1F3Net
MAE: 0.041
S-measure: 0.918
max_F1: 0.885
salient-object-detection-on-hku-is-1U2Net
MAE: 0.031
salient-object-detection-on-pascal-s-1F3Net
MAE: 0.086
S-measure: 0.831
max_F1: 0.768
salient-object-detection-on-sod-1U2-Net+
Fwβ: 0.697
MAE: 0.124
Sm: 0.759
relaxFbβ: 0.559
{max}Fβ: 0.841

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
U$^2$-Net:通过嵌套U结构深化显著性物体检测 | 论文 | HyperAI超神经