4 个月前

DeepLab:基于深度卷积网络、空洞卷积和全连接条件随机场的语义图像分割

DeepLab:基于深度卷积网络、空洞卷积和全连接条件随机场的语义图像分割

摘要

在本研究中,我们针对语义图像分割任务采用了深度学习方法,并做出了三项主要贡献,这些贡献通过实验验证具有显著的实际价值。首先,我们强调了上采样滤波器的卷积(即“空洞卷积”)作为密集预测任务中的强大工具。空洞卷积使我们能够在深度卷积神经网络(DCNN)中显式控制特征响应的计算分辨率。它还能够在不增加参数数量或计算量的情况下,有效地扩大滤波器的感受野,以纳入更大的上下文信息。其次,我们提出了空洞空间金字塔池化(Atrous Spatial Pyramid Pooling, ASPP),以实现对多尺度对象的稳健分割。ASPP通过多个采样率和有效感受野的滤波器来探测输入的卷积特征层,从而捕捉到不同尺度下的对象及其图像上下文。第三,我们通过结合深度卷积神经网络(DCNN)和概率图模型的方法来提高对象边界定位的准确性。通常使用的最大池化和下采样组合虽然能够实现不变性,但会影响定位精度。我们通过将最终DCNN层的响应与全连接条件随机场(Conditional Random Field, CRF)相结合,克服了这一问题,并且从定性和定量两个方面证明了该方法可以改善定位性能。我们提出的“DeepLab”系统在PASCAL VOC-2012语义图像分割任务中达到了新的最先进水平,在测试集上的mIOU达到了79.7%,并在其他三个数据集:PASCAL-Context、PASCAL-Person-Part和Cityscapes上取得了显著进展。我们的所有代码均已在线公开提供。

代码仓库

woonhahaha/place-classification
pytorch
GitHub 中提及
leimao/DeepLab_v3
tf
GitHub 中提及
Popcorn-sugar/Deep_v2
tf
GitHub 中提及
wangleihitcs/DeepLab-V1-PyTorch
pytorch
GitHub 中提及
kdethoor/panoptictorch
pytorch
GitHub 中提及
keb123keb/deeplabv2
GitHub 中提及
OIdiotLin/DeepLab-pytorch
pytorch
GitHub 中提及
johnsun03/myTest
pytorch
GitHub 中提及
isht7/pytorch-deeplab-resnet
pytorch
GitHub 中提及
DeepMotionAIResearch/DenseASPP
pytorch
GitHub 中提及
tensorflow/models
tf
GitHub 中提及
violin0847/crowdcounting
GitHub 中提及
Lxrd-AJ/Advanced_ML
pytorch
GitHub 中提及
halbielee/EPS
pytorch
GitHub 中提及
kazuto1011/deeplab-pytorch
pytorch
GitHub 中提及
zllrunning/deeplab-pytorch-crf
pytorch
GitHub 中提及
eceo-epfl/scaleprotoseg
pytorch
GitHub 中提及
aldo-aguilar/nu-style
pytorch
GitHub 中提及
RituYadav92/Image-segmentation
pytorch
GitHub 中提及
leimao/DeepLab-V3
tf
GitHub 中提及
liarba/caffe_dev
GitHub 中提及
NASA-NeMO-Net/NeMO-Net
tf
GitHub 中提及
yaq007/Autofocus-Layer
pytorch
GitHub 中提及
ShichengChen/WaveUNet
pytorch
GitHub 中提及
open-cv/deeplab-v2
GitHub 中提及
cgsaxner/UB_Segmentation
tf
GitHub 中提及
z01nl1o02/deeplab-v2
GitHub 中提及
cdmh/deeplab-public-ver2
GitHub 中提及

基准测试

基准方法指标
semantic-segmentation-on-cityscapesDeepLab-CRF (ResNet-101)
Mean IoU (class): 70.4%
semantic-segmentation-on-event-basedDeepLab
mIoU: 71.05
semantic-segmentation-on-pascal-contextDeepLabV2
mIoU: 45.7
semantic-segmentation-on-pascal-voc-2012DeepLab-CRF (ResNet-101)
Mean IoU: 79.7%
semantic-segmentation-on-pascal-voc-2012-valDeepLab-CRF (ResNet-101)
mIoU: 77.69%
semantic-segmentation-on-selmaDeepLabV2
mIoU: 68.9

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
DeepLab:基于深度卷积网络、空洞卷积和全连接条件随机场的语义图像分割 | 论文 | HyperAI超神经