摘要

我们介绍了一种基于深度学习的新型系统——NeuriCam，用于实现低功耗双模物联网相机系统的视频捕捉。我们的设计理念是设计一种双模相机系统，其中第一模式功耗较低（1.1毫瓦），但仅输出灰度、低分辨率且带有噪声的视频；第二模式功耗较高（100毫瓦），但输出彩色和高分辨率图像。为了降低总能耗，我们将高功耗模式的工作周期大幅减少，使其每秒仅输出一次图像。该相机系统的数据随后通过无线方式传输到附近的插电式网关，在那里运行我们的实时神经网络解码器以重建更高分辨率的彩色视频。为此，我们引入了一种注意力特征过滤机制，该机制根据特征图与输入帧在每个空间位置的内容之间的相关性为不同的特征分配不同的权重。我们使用现成的摄像头设计了一个无线硬件原型，并解决了包括数据包丢失和视角不匹配在内的实际问题。评估结果显示，我们的双摄像头方法相比现有系统可将能耗降低7倍。此外，我们的模型在灰度PSNR方面比之前的单摄像头和双摄像头视频超分辨率方法平均提高了3.7分贝，在RGB增益方面比之前的颜色传播方法平均提高了5.6分贝。开源代码：https://github.com/vb000/NeuriCam。