
摘要
超分辨率(Super-Resolution, SR)旨在从低分辨率图像中重建出高分辨率图像。当前主流的SR模型主要分为卷积神经网络(CNN)和窗口注意力(window-attention)两类。然而,这类方法存在结构上的刚性:在特征聚合过程中,每个像素均从固定数量的邻域像素中获取信息,这种固定模式限制了其在SR任务中的表现潜力。为此,本文借鉴图结构的灵活性,提出一种面向图像处理的图神经网络模型——图像处理图神经网络(Image Processing GNN, IPG),以突破传统SR方法的刚性约束。首先,SR任务具有显著的不均衡性:大部分重建工作集中于图像中细节丰富的局部区域。为此,我们利用图结构的度灵活性,为细节丰富的图像节点分配更高的连接度(node degree),从而增强其信息聚合能力。其次,为构建更有效的图结构以支持SR任务,我们采用像素作为图节点,而非传统方法中的图像块(patch)节点,从而实现更精细的建模。最后,我们认为局部与全局信息对提升SR性能均至关重要。为高效融合多尺度信息,我们设计了双路径图构建策略:在局部范围内搜索节点连接以构建局部图,同时在全图上通过步长采样空间寻找连接以构建全局图。这种灵活的图结构设计显著提升了模型的信息聚合能力。实验结果表明,所提出的IPG模型在多个公开数据集上均优于现有最先进方法。相关代码已开源,地址为:https://github.com/huawei-noah/Efficient-Computing/tree/master/LowLevel/IPG。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-super-resolution-on-urban100-4x | IPG | PSNR: 28.13 SSIM: 0.8392 |