3 个月前

图像抠图中的上下文聚合再思考

图像抠图中的上下文聚合再思考

摘要

传统研究强调上下文信息在提升抠图性能方面的重要性。因此,基于深度学习的抠图方法致力于设计池化或基于亲和力的上下文聚合模块,以实现更优的性能。然而,这类模块难以有效应对训练与推理阶段图像尺寸差异所导致的上下文尺度变化问题,从而引起抠图性能下降。本文重新审视了抠图网络中的上下文聚合机制,发现一个不包含任何上下文聚合模块的基础编码器-解码器结构,反而能够学习到更具通用性的上下文聚合能力,从而在性能上超越现有方法。基于这一发现,本文提出AEMatter——一种结构简洁但极为有效的抠图网络。AEMatter采用混合Transformer骨干网络,并引入外观增强的轴向学习(Appearance-Enhanced Axis-wise Learning, AEAL)模块,构建具备强大上下文聚合学习能力的基础网络。此外,AEMatter通过采用大图像训练策略,进一步帮助网络从数据中学习更优的上下文聚合模式。在五个主流抠图数据集上的大量实验表明,所提出的AEMatter在性能上显著优于当前最先进的抠图方法。

代码仓库

qlyoo/aematter
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
image-matting-on-composition-1k-1AEMatter
Conn: 12.46
Grad: 4.76
MSE: 2.26
SAD: 17.53

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
图像抠图中的上下文聚合再思考 | 论文 | HyperAI超神经