3 个月前

基于迭代置信度反馈与引导上采样的高分辨率图像修复

基于迭代置信度反馈与引导上采样的高分辨率图像修复

摘要

现有的图像修复方法在处理真实应用场景中较大的缺失区域时,往往会产生伪影。为应对这一挑战,我们提出了一种具有反馈机制的迭代式图像修复方法。具体而言,我们引入了一种深度生成模型,该模型不仅输出修复结果,还生成相应的置信度图。利用该置信度图作为反馈信号,模型在每次迭代中仅信任缺失区域内部高置信度的像素进行填充,并在下一轮迭代中聚焦于剩余低置信度的像素。由于该过程复用前序迭代中已预测的可靠像素作为已知信息,修复结果得以逐步优化。此外,我们设计了一种引导式上采样网络,以实现高分辨率修复结果的生成。该方法通过扩展上下文注意力(Contextual Attention)模块,从输入图像中借用高分辨率特征块,从而提升细节重建能力。为进一步模拟真实物体移除场景,我们构建了一个大规模物体掩码数据集,并合成更具真实感的训练数据,以更好地模拟用户实际输入。实验结果表明,我们的方法在定量与定性评估中均显著优于现有方法。更多实验结果及在线演示应用(Web APP)可访问:https://zengxianyu.github.io/iic。

代码仓库

htzheng/CM-GAN-Inpainting
pytorch
GitHub 中提及

基准测试

基准方法指标
image-inpainting-on-places2-1ProFill
FID: 7.7
LPIPS: 0.230
P-IDS: 3.87
U-IDS: 21.19

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于迭代置信度反馈与引导上采样的高分辨率图像修复 | 论文 | HyperAI超神经