
摘要
在本文中,我们设计了一种简单而强大的深度网络架构——U$^2$-Net,用于显著目标检测(SOD)。U$^2$-Net 的架构是一种两级嵌套的 U 形结构。该设计具有以下优势:(1) 由于我们在提出的残差 U 块(ReSidual U-blocks, RSU)中混合了不同大小的感受野,因此能够从不同尺度捕获更多的上下文信息;(2) 通过在这些 RSU 块中使用池化操作,可以在不显著增加计算成本的情况下增加整个架构的深度。这种架构使我们能够在不依赖图像分类任务中的骨干网络的情况下,从零开始训练一个深层网络。我们实例化了两种模型:U$^2$-Net(176.3 MB,GTX 1080Ti GPU 上达到 30 FPS)和 U$^2$-Net$^{\dagger}$(4.7 MB,40 FPS),以适应不同的应用场景。这两种模型在六个 SOD 数据集上均取得了具有竞争力的性能。代码已公开:https://github.com/NathanUA/U-2-Net。
代码仓库
PaddlePaddle/PaddleSeg
paddle
nadermx/backgroundremover
pytorch
GitHub 中提及
hhaAndroid/u2net
pytorch
GitHub 中提及
Akhilesh64/Image-Segmentation-U-2-Net
tf
GitHub 中提及
patharanordev/background-remover
pytorch
GitHub 中提及
alililia/u2net_Ascend
mindspore
GitHub 中提及
levindabhi/cloth-segmentation
pytorch
GitHub 中提及
PPPrior/u2net
pytorch
GitHub 中提及
RoadoneP/aloha
pytorch
GitHub 中提及
alililia/u2net_GPU
mindspore
GitHub 中提及
NathanUA/U-2-Net
官方
pytorch
GitHub 中提及
yingkaisha/keras-unet-collection
tf
GitHub 中提及
yangyucheng000/u2net
mindspore
GitHub 中提及
vaibhavmit074/remove-bg-2
pytorch
GitHub 中提及
kingcong/u2net
mindspore
GitHub 中提及
qooba/aiscissors
GitHub 中提及
dengpingfan/fsgan
pytorch
GitHub 中提及
He-jerry/U2Net-Tensorflow
tf
GitHub 中提及
chjort/u2net
tf
GitHub 中提及
lucidrains/imagen-pytorch
pytorch
GitHub 中提及
singhaman092/rembg
pytorch
GitHub 中提及
schenock/u2net-generic
pytorch
GitHub 中提及
soxHenry433/TF2_U2Model
tf
GitHub 中提及
xuebinqin/U-2-Net
pytorch
GitHub 中提及
hahahappyboy/GANForCartoon
pytorch
GitHub 中提及
sk1123344/U-2-NET-and-U-NET
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| dichotomous-image-segmentation-on-dis-te1 | U2Net | E-measure: 0.801 HCE: 224 MAE: 0.083 S-Measure: 0.760 max F-Measure: 0.694 weighted F-measure: 0.601 |
| dichotomous-image-segmentation-on-dis-te2 | U2Net | E-measure: 0.833 HCE: 490 MAE: 0.085 S-Measure: 0.788 max F-Measure: 0.756 weighted F-measure: 0.668 |
| dichotomous-image-segmentation-on-dis-te3 | U2Net | E-measure: 0.858 HCE: 965 MAE: 0.079 S-Measure: 0.809 max F-Measure: 0.798 weighted F-measure: 0.707 |
| dichotomous-image-segmentation-on-dis-te4 | U2Net | E-measure: 0.847 HCE: 3653 MAE: 0.087 S-Measure: 0.807 max F-Measure: 0.795 weighted F-measure: 0.705 |
| dichotomous-image-segmentation-on-dis-vd | U2Net | E-measure: 0.823 HCE: 1413 MAE: 0.090 S-Measure: 0.781 max F-Measure: 0.748 weighted F-measure: 0.656 |
| saliency-detection-on-dut-omron | U2-Net+ | Fwβ: 0.731 MAE: 0.06 Sm: 0.837 relaxFbβ: 0.676 {max}Fβ: 0.813 |
| saliency-detection-on-dut-omron | U2-Net | MAE: 0.054 |
| saliency-detection-on-hku-is | U2-Net+ | Fwβ: 0.867 MAE: 0.037 Sm: 0.908 relaxFbβ: 0.794 {max}Fβ: 0.928 |
| salient-object-detection-on-ecssd-1 | F3Net | MAE: 0.041 S-measure: 0.918 max_F1: 0.885 |
| salient-object-detection-on-hku-is-1 | U2Net | MAE: 0.031 |
| salient-object-detection-on-pascal-s-1 | F3Net | MAE: 0.086 S-measure: 0.831 max_F1: 0.768 |
| salient-object-detection-on-sod-1 | U2-Net+ | Fwβ: 0.697 MAE: 0.124 Sm: 0.759 relaxFbβ: 0.559 {max}Fβ: 0.841 |