3 个月前

全卷积网络中的全局聚合与局部分发

全卷积网络中的全局聚合与局部分发

摘要

大量研究表明,在全卷积网络(FCNs)中通过全局聚合模块建模长程依赖关系,对于语义分割、目标检测等复杂场景理解任务至关重要。然而,传统的全局聚合机制往往过度依赖大尺度模式的特征,导致包含小尺度模式(如边界和小物体)的区域出现过度平滑的问题。为解决这一问题,本文提出一种新型模块——GALD(Global Aggregation and Local Distribution),其核心思想是先进行全局聚合,再进行局部分布建模。该设计使得长程依赖关系在大尺度模式区域中得到更可靠的利用,而在小尺度模式区域中则更侧重局部细节的保留。网络在每个位置通过通道级掩码图(per-channel mask map)动态估计不同模式的尺寸。GALD模块可端到端训练,且能够无缝集成到各类现有FCN架构中,适配多种全局聚合模块,适用于广泛的视觉任务。实验表明,GALD在多个前沿目标检测与实例分割方法上均能一致提升性能。尤其在语义分割任务中,GALD在Cityscapes测试集上取得了83.3%的mIoU,刷新了当前最优结果。代码已开源,地址为:https://github.com/lxtGH/GALD-Net。

代码仓库

lxtGH/GALD-Net
官方
pytorch
GitHub 中提及
lxtGH/GALD-DGCNet
pytorch
GitHub 中提及

基准测试

基准方法指标
semantic-segmentation-on-cityscapesGALDNet(+Mapillary)++
Mean IoU (class): 83.3%
semantic-segmentation-on-pascal-voc-2007GALDNet
Mean IoU: 83

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
全卷积网络中的全局聚合与局部分发 | 论文 | HyperAI超神经