4 个月前

基于引导上下文注意力的自然图像抠图

基于引导上下文注意力的自然图像抠图

摘要

近年来,基于深度学习的方法在自然图像抠图方面取得了显著的改进。许多这些方法可以生成视觉上合理的透明度估计,但在半透明区域通常会产生模糊的结构或纹理。这是由于透明物体的局部不确定性造成的。一种可能的解决方案是利用远距离周围的上下文信息来估计局部透明度。传统的基于亲和力的方法往往因计算复杂度过高而不适合高分辨率的透明度估计。受基于亲和力的方法和上下文注意力在图像修复中成功应用的启发,我们开发了一种新的端到端自然图像抠图方法,该方法包含一个专门设计用于图像抠图的引导式上下文注意力模块。引导式上下文注意力模块根据学习到的低级亲和力直接全局传播高级透明度信息。所提出的方法不仅能够模拟基于亲和力方法的信息流,同时还能利用深度神经网络学到的丰富特征。在Composition-1k测试集和alphamatting.com基准数据集上的实验结果表明,我们的方法在自然图像抠图方面优于现有的最先进方法。代码和模型可在https://github.com/Yaoyi-Li/GCA-Matting 获取。

代码仓库

Yaoyi-Li/GCA-Matting
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
semantic-image-matting-on-semantic-imageGCA
Conn: 36.03
Grad: 28.70
MSE(10^3): 11.0
SAD: 39.28

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于引导上下文注意力的自然图像抠图 | 论文 | HyperAI超神经