16 天前

重新思考空洞卷积在语义图像分割中的应用

重新思考空洞卷积在语义图像分割中的应用

摘要

在本工作中,我们重新审视了空洞卷积(atrous convolution)这一强大工具在语义图像分割任务中的应用。空洞卷积能够显式调整卷积核的感受野,同时控制深度卷积神经网络所生成特征响应的分辨率。为应对多尺度目标分割的挑战,我们设计了若干模块,通过级联或并行方式使用空洞卷积,并采用多个空洞率来捕捉多尺度上下文信息。此外,我们提出对先前提出的空洞空间金字塔池化(Atrous Spatial Pyramid Pooling)模块进行增强,引入编码全局上下文信息的图像级特征,进一步提升模型性能。我们还详细阐述了实现细节,并分享了训练该系统过程中积累的经验。所提出的“DeepLabv3”系统在无需使用DenseCRF后处理的情况下,显著优于我们之前的DeepLab版本,并在PASCAL VOC 2012语义图像分割基准测试中达到了与当前其他先进模型相当的性能水平。

代码仓库

giovanniguidi/deeplabV3_Pytorch
pytorch
GitHub 中提及
xahidbuffon/SUIM
GitHub 中提及
leimao/DeepLab_v3
tf
GitHub 中提及
msminhas93/deeplabv3finetuning
pytorch
GitHub 中提及
sharifelguindi/DeepLab
tf
GitHub 中提及
Popcorn-sugar/Deep_v2
tf
GitHub 中提及
IRVLab/SUIM-Net
GitHub 中提及
chenxi116/DeepLabv3.pytorch
pytorch
GitHub 中提及
fregu856/deeplabv3
pytorch
GitHub 中提及
stigma0617/VoVNet-DeepLabV3
pytorch
GitHub 中提及
DLWK/EANet
pytorch
GitHub 中提及
sthalles/deeplab_v3
tf
GitHub 中提及
IRVLab/SUIM
GitHub 中提及
czarmanu/sentinel_lakeice
tf
GitHub 中提及
dajes/DensePose-TorchScript
pytorch
GitHub 中提及
TheTrveAnthony/no-Green
pytorch
GitHub 中提及
VainF/DeepLabV3Plus-Pytorch
pytorch
GitHub 中提及
BebDong/MXNetSeg
mxnet
GitHub 中提及
lewandofskee/MobileMamba
pytorch
GitHub 中提及
tensorflow/models
tf
GitHub 中提及
giovanniguidi/deeplabV3-PyTorch
pytorch
GitHub 中提及
Robinatp/Deeplab_Tensorflow
tf
GitHub 中提及
osmr/imgclsmob
mxnet
GitHub 中提及
zhangzjn/emo
pytorch
GitHub 中提及
mathildor/DeepLab-v3
tf
GitHub 中提及
it6aidl/outdoorsegmentation
pytorch
GitHub 中提及
leonardoaraujosantos/seg_atrous
pytorch
GitHub 中提及
naver-ai/BlendNeRF
pytorch
GitHub 中提及
2023-MindSpore-1/ms-code-167
mindspore
GitHub 中提及
heidongxianhau/deeplab2
tf
GitHub 中提及
leimao/DeepLab-V3
tf
GitHub 中提及
xahidbuffon/SVAM-Net
tf
GitHub 中提及
JWuzyk/CudaVisionProject
pytorch
GitHub 中提及
zhangzjn/emov2
pytorch
GitHub 中提及
KPMG-wiseuniv/AI
pytorch
GitHub 中提及
zxleong/GPRNet
GitHub 中提及
samson6460/tf2_Segmentation
tf
GitHub 中提及

基准测试

基准方法指标
dichotomous-image-segmentation-on-dis-te1DeeplabV3+
E-measure: 0.772
HCE: 234
MAE: 0.102
S-Measure: 0.694
max F-Measure: 0.601
weighted F-measure: 0.506
dichotomous-image-segmentation-on-dis-te2DeeplabV3+
E-measure: 0.813
HCE: 516
MAE: 0.105
S-Measure: 0.729
max F-Measure: 0.681
weighted F-measure: 0.587
dichotomous-image-segmentation-on-dis-te3DeeplabV3+
E-measure: 0.833
HCE: 999
MAE: 0.102
S-Measure: 0.749
max F-Measure: 0.717
weighted F-measure: 0.623
dichotomous-image-segmentation-on-dis-te4DeeplabV3+
E-measure: 0.820
HCE: 3709
MAE: 0.111
S-Measure: 0.744
max F-Measure: 0.715
weighted F-measure: 0.621
dichotomous-image-segmentation-on-dis-vdDeeplabV3+
E-measure: 0.796
HCE: 1520
MAE: 0.114
S-Measure: 0.716
max F-Measure: 0.660
weighted F-measure: 0.568
semantic-segmentation-on-cityscapesDeepLabv3 (ResNet-101, coarse)
Mean IoU (class): 81.3%
semantic-segmentation-on-cityscapes-valDeepLabv3 (Dilated-ResNet-101)
mIoU: 78.5%
semantic-segmentation-on-pascal-voc-2012DeepLabv3-JFT
Mean IoU: 86.9%
semantic-segmentation-on-pascal-voc-2012-valDeepLabv3-JFT
mIoU: 82.7%
semantic-segmentation-on-selmaDeepLabV3
mIoU: 70.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
重新思考空洞卷积在语义图像分割中的应用 | 论文 | HyperAI超神经