摘要

我们提出了一种新颖的视频神经表示方法（NeRV），该方法将视频编码为神经网络。与传统将视频视为帧序列的表示方式不同，NeRV将视频建模为以帧索引作为输入的神经网络。给定一个帧索引，NeRV即可输出对应的RGB图像。在NeRV中，视频编码过程仅需将神经网络拟合至视频帧，而解码过程则通过简单的前向传播实现。作为一种基于图像的隐式表示，NeRV能够一次性输出完整图像，在效率上显著优于基于像素的隐式表示方法：编码速度提升25至70倍，解码速度提升38至132倍，同时实现了更优的视频质量。借助这种表示方式，我们可以将视频视为神经网络，从而简化多种视频相关任务。例如，传统的视频压缩方法受限于冗长且复杂的处理流程，且专门针对特定任务进行设计。相比之下，采用NeRV后，可直接利用任意神经网络压缩方法作为视频压缩的代理方案，其性能可与传统基于帧的视频压缩方法（如H.264、HEVC等）相媲美。除压缩外，我们还展示了NeRV在视频去噪任务中的良好泛化能力。相关源代码与预训练模型已开源，地址为：https://github.com/haochen-rye/NeRV.git。