4 个月前

ZoomNeXt:一种用于伪装目标检测的统一协作金字塔网络

ZoomNeXt:一种用于伪装目标检测的统一协作金字塔网络

摘要

近期的伪装目标检测(COD)试图分割在视觉上与其周围环境融合的目标物体,这在实际场景中极为复杂和困难。除了伪装目标与背景之间存在较高的固有相似性外,目标物体通常在尺度上具有多样性,外观模糊,甚至严重遮挡。为此,我们提出了一种有效的统一协作金字塔网络,该网络模拟了人类观察模糊图像和视频时的行为,即放大和缩小。具体而言,我们的方法采用了放大策略,通过多头尺度集成单元和丰富的粒度感知单元来学习区分性的混合尺度语义,这些单元旨在充分探索候选目标与背景环境之间的不可见线索。前者通过其内在的多头聚合提供了更多样化的视觉模式;后者通过路由机制能够在时空场景中有效传播帧间差异,并且可以自适应地停用并输出全零结果以表示静态内容。它们为实现静态和动态COD的统一架构奠定了坚实的基础。此外,考虑到由无法区分的纹理引起的不确定性和模糊性,我们构建了一个简单而有效的正则化方法——不确定性感知损失,以鼓励对候选区域进行更高置信度的预测。我们的高度任务友好的框架在图像和视频COD基准测试中持续超越现有的最先进方法。我们的代码可以在{https://github.com/lartpang/ZoomNeXt}找到。

代码仓库

lartpang/zoomnext
官方
pytorch

基准测试

基准方法指标
camouflaged-object-segmentation-onZoomNeXt-PVTv2-B5
MAE: 0.020
S-measure: 0.757
mDice: 0.599
mIoU: 0.510
weighted F-measure: 0.593
camouflaged-object-segmentation-on-camoZoomNeXt-PVTv2-B5
MAE: 0.041
S-Measure: 0.889
Weighted F-Measure: 0.857
camouflaged-object-segmentation-on-camoZoomNeXt-PVTv2-B4
MAE: 0.04
S-Measure: 0.888
Weighted F-Measure: 0.859
camouflaged-object-segmentation-on-camoZoomNeXt-ResNet-50
MAE: 0.065
S-Measure: 0.833
Weighted F-Measure: 0.774
camouflaged-object-segmentation-on-chameleonZoomNeXt-PVTv2-B4
MAE: 0.016
S-measure: 0.925
weighted F-measure: 0.897
camouflaged-object-segmentation-on-chameleonZoomNeXt-ResNet-50
MAE: 0.021
S-measure: 0.908
weighted F-measure: 0.858
camouflaged-object-segmentation-on-chameleonZoomNeXt-PVTv2-B5
MAE: 0.018
S-measure: 0.924
weighted F-measure: 0.885
camouflaged-object-segmentation-on-codZoomNeXt-ResNet-50
MAE: 0.026
S-Measure: 0.861
Weighted F-Measure: 0.768
camouflaged-object-segmentation-on-codZoomNeXt-PVTv2-B5
MAE: 0.018
S-Measure: 0.898
Weighted F-Measure: 0.827
camouflaged-object-segmentation-on-codZoomNeXt-PVTv2-B4
MAE: 0.017
S-Measure: 0.898
Weighted F-Measure: 0.838
camouflaged-object-segmentation-on-moca-maskZoomNeXt-PVTv2-B5
MAE: 0.010
S-measure: 0.734
mDice: 0.497
mIoU: 0.422
weighted F-measure: 0.476
camouflaged-object-segmentation-on-nc4kZoomNeXt-PVTv2-B5
MAE: 0.028
S-measure: 0.903
weighted F-measure: 0.863
camouflaged-object-segmentation-on-nc4kZoomNeXt-ResNet-50
MAE: 0.037
S-measure: 0.874
weighted F-measure: 0.816
camouflaged-object-segmentation-on-nc4kZoomNeXt-PVTv2-B4
MAE: 0.028
S-measure: 0.900
weighted F-measure: 0.865

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
ZoomNeXt:一种用于伪装目标检测的统一协作金字塔网络 | 论文 | HyperAI超神经