4 个月前

语义分割中的上下文编码

语义分割中的上下文编码

摘要

近期的研究在利用全卷积网络(FCN)框架改进像素级标注的空间分辨率方面取得了显著进展,通过采用扩张/空洞卷积、利用多尺度特征以及优化边界等方法。本文中,我们探讨了全局上下文信息在语义分割中的影响,引入了上下文编码模块,该模块能够捕捉场景的语义上下文并有选择地突出类别相关的特征图。所提出的上下文编码模块在仅增加少量计算成本的情况下显著提升了语义分割的结果。我们的方法在PASCAL-Context数据集上达到了51.7%的平均交并比(mIoU),在PASCAL VOC 2012数据集上达到了85.9%的mIoU。此外,我们的单一模型在ADE20K测试集上获得了0.5567的最终得分,超过了2017年COCO-Place挑战赛的获胜作品。我们还探讨了上下文编码模块如何改善相对浅层网络在CIFAR-10数据集上的图像分类特征表示。我们的14层网络实现了3.45%的错误率,这一结果与层数超过其十倍的最先进方法相当。完整的系统源代码已公开发布。

代码仓库

Praveen94/pytorch-encoding
pytorch
GitHub 中提及
CWanli/myencoding
pytorch
GitHub 中提及
zhanghang1989/PyTorch-Encoding
官方
pytorch
GitHub 中提及
etmwb/cvsegmentation
pytorch
GitHub 中提及
kmaninis/pytorch-encoding
pytorch
GitHub 中提及
RyanHTR/PyTorch-Encoding
pytorch
GitHub 中提及
zhusiling/EncNet
pytorch
GitHub 中提及
xllau/PyTorch-Encoding
pytorch
GitHub 中提及

基准测试

基准方法指标
semantic-segmentation-on-ade20kEncNet
Test Score: 55.67
Validation mIoU: 44.65
semantic-segmentation-on-ade20k-valEncNet (ResNet-101)
mIoU: 44.65
semantic-segmentation-on-pascal-contextEncNet (ResNet-101)
mIoU: 51.7
semantic-segmentation-on-pascal-voc-2012EncNet (ResNet-101)
Mean IoU: 82.9%
semantic-segmentation-on-pascal-voc-2012EncNet
Mean IoU: 85.9%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
语义分割中的上下文编码 | 论文 | HyperAI超神经