3 个月前

基于层级回归网络的从RGB图像进行光谱重建

基于层级回归网络的从RGB图像进行光谱重建

摘要

由于具备窄带成像技术,高光谱相机在多个领域已成功实现视觉图像的捕捉。从RGB图像进行高光谱重建,本质上是高光谱成像的逆过程,其核心在于推导出逆响应函数。现有方法大多直接将RGB图像映射至对应光谱,但未显式考虑上下文信息;此外,当前算法普遍采用编码器-解码器结构,导致信息损失严重。为解决上述问题,本文提出一种四级分层回归网络(Hierarchical Regression Network, HRNet),并引入PixelShuffle层实现跨层级的特征交互。同时,采用残差密集块(residual dense block)以消除真实世界RGB图像中的伪影,并引入残差全局块(residual global block)构建注意力机制,从而扩大感受野。我们在NTIRE 2020高光谱重建从RGB图像挑战赛中对所提HRNet进行了全面评估,结果显示,该方法在第2赛道(真实世界图像)中荣获第一名,在第1赛道(干净图像)中位列第三。欢迎访问项目主页 https://github.com/zhaoyuzhi/Hierarchical-Regression-Network-for-Spectral-Reconstruction-from-RGB-Images 以体验我们的代码及预训练模型。

基准测试

基准方法指标
spectral-reconstruction-on-arad-1kHRNet
MRAE: 0.3476
PSNR: 26.89
RMSE: 0.0550

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于层级回归网络的从RGB图像进行光谱重建 | 论文 | HyperAI超神经