4 个月前

DHR:基于双特征驱动的跨类内类区域层次重平衡用于弱监督语义分割

DHR:基于双特征驱动的跨类内类区域层次重平衡用于弱监督语义分割

摘要

弱监督语义分割(WSS)能够在有限的数据下保证高质量的分割效果,并且在作为大规模视觉模型(如Segment Anything)的输入种子掩模时表现出色。然而,WSS在处理小类时面临挑战,因为在包含多个相邻类别的图像中,这些小类容易被忽略,这一限制源自传统扩展方法(如随机游走算法)的过拟合问题。我们首先通过使用无监督和弱监督特征图来解决这一问题,而不是采用传统的技术手段,从而实现层次化的掩模增强。该方法能够明确区分高层次类别,并进一步分离其相关的低层次类别,确保所有类别在掩模中正确恢复而不丢失小类。我们的方法通过广泛的实验验证,在五个基准数据集上显著提升了WSS的效果(VOC:79.8%,COCO:53.9%,Context:49.0%,ADE:32.9%,Stuff:37.4%),在VOC验证集上的表现与全监督方法的差距减少了超过84%。代码可在https://github.com/shjo-april/DHR 获取。

代码仓库

shjo-april/DHR
官方
GitHub 中提及

基准测试

基准方法指标
weakly-supervised-semantic-segmentation-onDHR (Swin-L, Mask2Former)
Mean IoU: 82.3
weakly-supervised-semantic-segmentation-on-1DHR (Swin-L, Mask2Former)
Mean IoU: 82.3
weakly-supervised-semantic-segmentation-on-20DHR (Swin-L, Mask2Former)
mIoU: 32.9
weakly-supervised-semantic-segmentation-on-21DHR (Swin-L, Mask2Former)
mIoU: 37.4
weakly-supervised-semantic-segmentation-on-22DHR (Swin-L, Mask2Former)
mIoU: 53.6
weakly-supervised-semantic-segmentation-on-4DHR (Swin-L, Mask2Former)
mIoU: 56.8

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
DHR:基于双特征驱动的跨类内类区域层次重平衡用于弱监督语义分割 | 论文 | HyperAI超神经