摘要

如何表示一张图像？尽管视觉世界以连续的方式呈现，但机器在存储和处理图像时通常采用离散的二维像素阵列形式。本文旨在学习图像的连续表示。受近期基于隐式神经表示进行三维重建的启发，我们提出了一种名为局部隐式图像函数（Local Implicit Image Function, LIIF）的新方法。LIIF以图像坐标及其周围二维深度特征作为输入，预测该坐标处的RGB像素值作为输出。由于输入坐标是连续的，LIIF能够以任意分辨率进行表示。为构建图像的连续表示，我们通过自监督的超分辨率任务，训练一个编码器与LIIF表示相结合。所学习到的连续表示不仅可在任意分辨率下呈现，甚至能外推至原始训练任务中未涉及的30倍更高分辨率，展现出强大的泛化能力。此外，我们进一步证明，LIIF表示在二维空间中架起了离散表示与连续表示之间的桥梁，能够自然支持具有不同尺寸真实标签（ground-truth）的学习任务，并显著优于传统通过缩放真实标签来适配不同分辨率的方法。