4 个月前

用于语义图像分割的带空洞可分离卷积的编码器-解码器结构

用于语义图像分割的带空洞可分离卷积的编码器-解码器结构

摘要

在深度神经网络中,空间金字塔池化模块或编码器-解码器结构被用于语义分割任务。前者通过在多个尺度和多个有效视场下使用滤波器或池化操作来提取多尺度上下文信息,而后者则通过逐步恢复空间信息来捕捉更清晰的物体边界。在这项工作中,我们提出结合这两种方法的优势。具体而言,我们提出的模型DeepLabv3+是在DeepLabv3的基础上增加了一个简单而有效的解码器模块,以特别改善物体边界的分割结果。我们进一步研究了Xception模型,并将深度可分离卷积应用于空洞空间金字塔池化(Atrous Spatial Pyramid Pooling)和解码器模块,从而构建了一个更快更强的编码器-解码器网络。我们在PASCAL VOC 2012和Cityscapes数据集上展示了所提模型的有效性,在没有任何后处理的情况下,分别达到了89.0%和82.1%的测试集性能。我们的论文附带了一个公开的TensorFlow实现代码库,地址为:\url{https://github.com/tensorflow/models/tree/master/research/deeplab}。

代码仓库

giovanniguidi/deeplabV3_Pytorch
pytorch
GitHub 中提及
petko-nikolov/pysemseg
pytorch
GitHub 中提及
dootmaan/dsrl
pytorch
GitHub 中提及
jfzhang95/pytorch-deeplab-xception
pytorch
GitHub 中提及
chuhan89/wsss-tissue
pytorch
GitHub 中提及
mlearing/pytorch-deeplab-v3-plus
pytorch
GitHub 中提及
leimao/DeepLab_v3
tf
GitHub 中提及
lattice-ai/DeepLabV3-Plus
tf
GitHub 中提及
sharifelguindi/DeepLab
tf
GitHub 中提及
shanglianlm0525/CvPytorch
pytorch
GitHub 中提及
phue/aradeepopsis
tf
GitHub 中提及
Popcorn-sugar/Deep_v2
tf
GitHub 中提及
abhishekdbihani/MudrockNet
tf
GitHub 中提及
zhuang42/csc420
pytorch
GitHub 中提及
czarmanu/sentinel_lakeice
tf
GitHub 中提及
VainF/DeepLabV3Plus-Pytorch
pytorch
GitHub 中提及
kaichoulyc/course_segmentation
pytorch
GitHub 中提及
soumik12345/DeepLabV3-Plus
tf
GitHub 中提及
y-ouali/pytorch_segmentation
pytorch
GitHub 中提及
giovanniguidi/deeplabV3-PyTorch
pytorch
GitHub 中提及
Robinatp/Deeplab_Tensorflow
tf
GitHub 中提及
mathildor/DeepLab-v3
tf
GitHub 中提及
MukhlasAdib/KITTI_Mapping
tf
GitHub 中提及
ayoolaolafenwa/PixelLib
tf
GitHub 中提及
wang-wg/DeepStroke
tf
GitHub 中提及
pideyi1025/DeepLabV3Plus-RailSem19
pytorch
GitHub 中提及
heidongxianhau/deeplab2
tf
GitHub 中提及
tantara/JejuNet
tf
GitHub 中提及
leimao/DeepLab-V3
tf
GitHub 中提及
sara-nl/SURF-deeplab
tf
GitHub 中提及
samson6460/tf2_Segmentation
tf
GitHub 中提及
sara-nl/SURF-segmentation
tf
GitHub 中提及
ucuapps/WSMIS
pytorch
GitHub 中提及
Vujas-Eteph/CiVOS
pytorch
GitHub 中提及

基准测试

基准方法指标
lesion-segmentation-on-anatomical-tracings-of-1DeepLab v3+
Dice: 0.4609
IoU: 0.3458
Precision: 0.5831
semantic-segmentation-on-ai-todDeepLabV3+(ResNet-50)
Dice: 43.52
semantic-segmentation-on-bdd100k-valDeeplabv3+
mIoU: 63.6
semantic-segmentation-on-bjroadDeepLabv3+
IoU: 50.81
semantic-segmentation-on-cityscapes-valDeepLabv3+ (Dilated-Xception-71)
mIoU: 79.6
semantic-segmentation-on-dada-segDeepLabV3+ (ACDC)
mIoU: 26.8
semantic-segmentation-on-densepassDeepLabV3+ (ResNet-101)
mIoU: 32.5%
semantic-segmentation-on-eventscapeDeepLabV3+
mIoU: 53.65
semantic-segmentation-on-mcubesDeepLabV3+ (RGB-A-D-N)
mIoU: 38.13%
semantic-segmentation-on-pascal-voc-2012DeepLabv3+ (Xception-JFT)
Mean IoU: 89.0%
semantic-segmentation-on-pascal-voc-2012DeepLabv3+ (Xception-65-JFT)
Mean IoU: 89.0%
semantic-segmentation-on-pascal-voc-2012-valDeepLabV3+ (ResNet-101)
mIoU (Syn): 75.39
semantic-segmentation-on-potsdam-1DeepLabV3+
mIoU: 83.67
semantic-segmentation-on-skyscapes-dense-1DeepLabv3+
Mean IoU: 38.20
semantic-segmentation-on-synpassDeepLabv3+
mIoU: 29.66%
semantic-segmentation-on-trans10kDeepLabV3+
GFLOPs: 37.98
mIoU: 68.87%
semantic-segmentation-on-urbanlfDeepLabV3+ (ResNet-101)
mIoU (Real): 76.27
semantic-segmentation-on-us3d-1DeepLabV3+
mIoU: 74.42
semantic-segmentation-on-vaihingenDeepLabV3+
mIoU: 72.90

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于语义图像分割的带空洞可分离卷积的编码器-解码器结构 | 论文 | HyperAI超神经