3 个月前

图像处理GNN:打破超分辨率中的刚性限制

图像处理GNN:打破超分辨率中的刚性限制

摘要

超分辨率(Super-Resolution, SR)旨在从低分辨率图像中重建出高分辨率图像。当前主流的SR模型主要分为卷积神经网络(CNN)和窗口注意力(window-attention)两类。然而,这类方法存在结构上的刚性:在特征聚合过程中,每个像素均从固定数量的邻域像素中获取信息,这种固定模式限制了其在SR任务中的表现潜力。为此,本文借鉴图结构的灵活性,提出一种面向图像处理的图神经网络模型——图像处理图神经网络(Image Processing GNN, IPG),以突破传统SR方法的刚性约束。首先,SR任务具有显著的不均衡性:大部分重建工作集中于图像中细节丰富的局部区域。为此,我们利用图结构的度灵活性,为细节丰富的图像节点分配更高的连接度(node degree),从而增强其信息聚合能力。其次,为构建更有效的图结构以支持SR任务,我们采用像素作为图节点,而非传统方法中的图像块(patch)节点,从而实现更精细的建模。最后,我们认为局部与全局信息对提升SR性能均至关重要。为高效融合多尺度信息,我们设计了双路径图构建策略:在局部范围内搜索节点连接以构建局部图,同时在全图上通过步长采样空间寻找连接以构建全局图。这种灵活的图结构设计显著提升了模型的信息聚合能力。实验结果表明,所提出的IPG模型在多个公开数据集上均优于现有最先进方法。相关代码已开源,地址为:https://github.com/huawei-noah/Efficient-Computing/tree/master/LowLevel/IPG。

基准测试

基准方法指标
image-super-resolution-on-urban100-4xIPG
PSNR: 28.13
SSIM: 0.8392

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
图像处理GNN:打破超分辨率中的刚性限制 | 论文 | HyperAI超神经