4 个月前

SERNet-Former:通过高效残差网络、注意力增强门和注意力融合网络实现语义分割

SERNet-Former:通过高效残差网络、注意力增强门和注意力融合网络实现语义分割

摘要

提高当前最先进的语义分割方法的效率需要克服日益增加的计算成本以及诸如融合全局和局部上下文中的语义信息等问题。基于卷积神经网络(CNNs)在语义分割中取得的最新成功和遇到的问题,本研究提出了一种具有独特高效残差网络(Efficient-ResNet)的编码器-解码器架构。为了融合高效残差网络编码器部分输出的全局上下文等效大小的等变和基于特征的语义信息,引入了注意力增强门(AbGs)和注意力增强模块(AbMs)。相应地,解码器网络在AbM的启发下开发了额外的注意力融合网络(AfNs)。AfNs通过在解码器部分部署额外的卷积层来提高一对一转换语义信息的效率。我们的网络在具有挑战性的CamVid和Cityscapes数据集上进行了测试,所提出的方法在残差网络上显示出显著改进。据我们所知,所开发的网络SERNet-Former在CamVid数据集上取得了最先进水平的结果(平均交并比84.62%),并在Cityscapes验证数据集上取得了有挑战性的结果(平均交并比87.35%)。

基准测试

基准方法指标
2d-semantic-segmentation-on-camvidSERNet-Former
mIoU: 84.62
2d-semantic-segmentation-on-cityscapes-valSERNet-Former
mIoU: 87.35
semantic-segmentation-on-ade20kSERNet-Former
Validation mIoU: 59.35
semantic-segmentation-on-ade20k-valSERNet-Former_v2
mIoU: 59.35
semantic-segmentation-on-bdd100k-valSERNet-Former_v2
mIoU: 67.42
semantic-segmentation-on-camvidSERNet-Former
Mean IoU: 84.62
semantic-segmentation-on-cityscapesSERNet-Former
Mean IoU (class): 84.83
semantic-segmentation-on-cityscapes-valSERNet-Former
Validation mIoU: 87.35
mIoU: 87.35

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
SERNet-Former:通过高效残差网络、注意力增强门和注意力融合网络实现语义分割 | 论文 | HyperAI超神经