3 个月前

基于全局与局部注意力的自由形式图像修复

基于全局与局部注意力的自由形式图像修复

摘要

基于深度学习的图像修复方法在矩形与不规则孔洞的修复任务中均展现出显著潜力。然而,由于不规则孔洞在形状和位置上具有高度不确定性,其修复仍面临诸多挑战。仅依赖卷积神经网络(CNN)或对抗性监督,难以保证合理的修复效果,因为不规则孔洞的修复需要基于注意力机制的引导,以有效获取用于内容生成的信息。为此,本文提出两种新型注意力机制:一种是基于掩码剪枝的全局注意力模块,另一种是结合全局与局部注意力的模块,旨在捕捉特征间的全局依赖关系以及局部相似性信息,从而实现更精细的修复结果。所提出的方法在多个前沿方法上进行了评估,实验结果表明,无论在定量指标还是定性视觉效果方面,本方法均优于现有技术。

基准测试

基准方法指标
image-inpainting-on-places365GGLA
L1 error: 1.20

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供