
摘要
在本研究中,我们针对语义图像分割任务采用了深度学习方法,并做出了三项主要贡献,这些贡献通过实验验证具有显著的实际价值。首先,我们强调了上采样滤波器的卷积(即“空洞卷积”)作为密集预测任务中的强大工具。空洞卷积使我们能够在深度卷积神经网络(DCNN)中显式控制特征响应的计算分辨率。它还能够在不增加参数数量或计算量的情况下,有效地扩大滤波器的感受野,以纳入更大的上下文信息。其次,我们提出了空洞空间金字塔池化(Atrous Spatial Pyramid Pooling, ASPP),以实现对多尺度对象的稳健分割。ASPP通过多个采样率和有效感受野的滤波器来探测输入的卷积特征层,从而捕捉到不同尺度下的对象及其图像上下文。第三,我们通过结合深度卷积神经网络(DCNN)和概率图模型的方法来提高对象边界定位的准确性。通常使用的最大池化和下采样组合虽然能够实现不变性,但会影响定位精度。我们通过将最终DCNN层的响应与全连接条件随机场(Conditional Random Field, CRF)相结合,克服了这一问题,并且从定性和定量两个方面证明了该方法可以改善定位性能。我们提出的“DeepLab”系统在PASCAL VOC-2012语义图像分割任务中达到了新的最先进水平,在测试集上的mIOU达到了79.7%,并在其他三个数据集:PASCAL-Context、PASCAL-Person-Part和Cityscapes上取得了显著进展。我们的所有代码均已在线公开提供。
代码仓库
woonhahaha/place-classification
pytorch
GitHub 中提及
leimao/DeepLab_v3
tf
GitHub 中提及
zej-luffy/deeplab-public-ver2
GitHub 中提及
Popcorn-sugar/Deep_v2
tf
GitHub 中提及
wangleihitcs/DeepLab-V1-PyTorch
pytorch
GitHub 中提及
kdethoor/panoptictorch
pytorch
GitHub 中提及
stevendleung/w251-project-door-camera-public
pytorch
GitHub 中提及
johnnylu305/deeplab-imagenet-pytorch
pytorch
GitHub 中提及
keb123keb/deeplabv2
GitHub 中提及
switchablenorms/SwitchNorm_Segmentation
pytorch
GitHub 中提及
OIdiotLin/DeepLab-pytorch
pytorch
GitHub 中提及
johnsun03/myTest
pytorch
GitHub 中提及
isht7/pytorch-deeplab-resnet
pytorch
GitHub 中提及
DeepMotionAIResearch/DenseASPP
pytorch
GitHub 中提及
tensorflow/models
tf
GitHub 中提及
Shun14/deeplab-paddle
paddle
violin0847/crowdcounting
GitHub 中提及
Lxrd-AJ/Advanced_ML
pytorch
GitHub 中提及
halbielee/EPS
pytorch
GitHub 中提及
waggle-sensor/plugin-water-detector
pytorch
GitHub 中提及
Media-Smart/vedaseg
pytorch
kazuto1011/deeplab-pytorch
pytorch
GitHub 中提及
zllrunning/deeplab-pytorch-crf
pytorch
GitHub 中提及
eceo-epfl/scaleprotoseg
pytorch
GitHub 中提及
aldo-aguilar/nu-style
pytorch
GitHub 中提及
RituYadav92/Image-segmentation
pytorch
GitHub 中提及
divisionai/deep-photo-styletransfer
pytorch
GitHub 中提及
leimao/DeepLab-V3
tf
GitHub 中提及
liarba/caffe_dev
GitHub 中提及
warmspringwinds/pytorch-segmentation-detection
pytorch
GitHub 中提及
NASA-NeMO-Net/NeMO-Net
tf
GitHub 中提及
tensorflow/models/tree/master/research/deeplab
tf
GitHub 中提及
yaq007/Autofocus-Layer
pytorch
GitHub 中提及
ShichengChen/WaveUNet
pytorch
GitHub 中提及
open-cv/deeplab-v2
GitHub 中提及
cgsaxner/UB_Segmentation
tf
GitHub 中提及
z01nl1o02/deeplab-v2
GitHub 中提及
cdmh/deeplab-public-ver2
GitHub 中提及
purushothamgowthu/deep-photo-styletransfer
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| semantic-segmentation-on-cityscapes | DeepLab-CRF (ResNet-101) | Mean IoU (class): 70.4% |
| semantic-segmentation-on-event-based | DeepLab | mIoU: 71.05 |
| semantic-segmentation-on-pascal-context | DeepLabV2 | mIoU: 45.7 |
| semantic-segmentation-on-pascal-voc-2012 | DeepLab-CRF (ResNet-101) | Mean IoU: 79.7% |
| semantic-segmentation-on-pascal-voc-2012-val | DeepLab-CRF (ResNet-101) | mIoU: 77.69% |
| semantic-segmentation-on-selma | DeepLabV2 | mIoU: 68.9 |