4 个月前

ShelfNet用于快速语义分割

ShelfNet用于快速语义分割

摘要

本文介绍了一种名为ShelfNet的新颖架构,用于实现快速且准确的语义分割。与单一的编码器-解码器结构不同,ShelfNet在每个空间层次上都具有多个带有跳过连接的编码器-解码器分支对,其结构类似于多列货架。这种货架状结构可以视为多个深浅路径的集成,从而提高了准确性。我们通过减少通道数量显著降低了计算负担,同时凭借这一独特结构实现了高精度。此外,我们在残差块中提出了一种共享权重策略,该策略在不牺牲性能的前提下减少了参数数量。与PSPNet等流行的非实时方法相比,我们的ShelfNet在PASCAL VOC数据集上以相似的精度实现了4倍更快的推理速度。与BiSeNet等实时分割模型相比,我们的模型在Cityscapes数据集上以相当的速度实现了更高的精度,适用于自动驾驶中的街景理解等对速度有较高要求的任务。此外,我们的ShelfNet使用ResNet34作为骨干网络,在Cityscapes数据集上达到了79.0%的mIoU(平均交并比),优于使用较大骨干网络如ResNet101的PSPNet和BiSeNet。通过广泛的实验验证,我们证明了ShelfNet的优越性能。我们提供了实现代码的链接:\url{https://github.com/juntang-zhuang/ShelfNet-lw-cityscapes}。

代码仓库

juntang-zhuang/ShelfNet-lw-cityscapes
官方
pytorch
GitHub 中提及
juntang-zhuang/ShelfNet
官方
pytorch
GitHub 中提及
Deci-AI/super-gradients
pytorch
GitHub 中提及

基准测试

基准方法指标
real-time-semantic-segmentation-on-cityscapesShelfNet18
Frame (fps): 59.2
Time (ms): 16.9
mIoU: 74.8%
semantic-segmentation-on-cityscapesShelfNet-34
Mean IoU (class): 79.0%
semantic-segmentation-on-pascal-voc-2012ShelfNet
Mean IoU: 84.2%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
ShelfNet用于快速语义分割 | 论文 | HyperAI超神经