
摘要
近年来,超深卷积神经网络(CNN)在目标识别任务中表现出色,同时也成为语义分割等密集分类问题的首选方法。然而,深度CNN中反复进行的下采样操作(如池化或卷积步长)会导致原始图像分辨率显著下降。为此,本文提出RefineNet——一种通用的多路径精炼网络,该网络显式利用下采样过程中所有可用信息,通过长程残差连接实现高分辨率预测。在此架构下,能够捕捉高层语义特征的深层网络可直接借助早期卷积层提取的细粒度特征进行精炼。RefineNet的各个组件均采用遵循恒等映射思想的残差连接,从而支持高效的端到端训练。此外,我们引入了链式残差池化(chained residual pooling)机制,能够以高效的方式捕捉丰富的背景上下文信息。我们在七个公开数据集上进行了全面实验,取得了新的最先进性能。特别地,在具有挑战性的PASCAL VOC 2012数据集上,我们获得了83.4的交并比(IoU)得分,为目前报道的最优结果。
代码仓库
hiyaroy12/multitask_learning
tf
GitHub 中提及
kingcong/RefineNet
mindspore
GitHub 中提及
guosheng/refinenet
官方
pytorch
GitHub 中提及
alililia/ascend_RefineNet
mindspore
GitHub 中提及
kingcong/gpu_RefineNet
mindspore
GitHub 中提及
kdha0727/cancer-instance-segmentation-from-tissue
pytorch
GitHub 中提及
yangyucheng000/RefineNet
mindspore
GitHub 中提及
hugozanini/realtime-semantic-segmentation
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| semantic-segmentation-on-ade20k | RefineNet | Validation mIoU: 40.7 |
| semantic-segmentation-on-ade20k-val | RefineNet (ResNet-152) | mIoU: 40.70 |
| semantic-segmentation-on-ade20k-val | RefineNet (ResNet-101) | mIoU: 40.20 |
| semantic-segmentation-on-cityscapes | RefineNet (ResNet-101) | Mean IoU (class): 73.6% |
| semantic-segmentation-on-coco-stuff-test | RefineNet (ResNet-101) | mIoU: 33.6% |
| semantic-segmentation-on-nyu-depth-v2 | RefineNet (ResNet-101) | Mean IoU: 46.5% |
| semantic-segmentation-on-pascal-context | RefineNet | mIoU: 47.3 |
| semantic-segmentation-on-pascal-voc-2012 | Multipath-RefineNet | Mean IoU: 84.2% |
| semantic-segmentation-on-trans10k | RefineNet | GFLOPs: 44.56 mIoU: 58.18% |