4 个月前

EvTexture:事件驱动的视频超分辨率纹理增强

EvTexture:事件驱动的视频超分辨率纹理增强

摘要

基于事件的视觉技术因其独特的特性,如高时间分辨率和高动态范围,近年来受到了越来越多的关注。最近,该技术已被应用于视频超分辨率(VSR)中,以提高光流估计和时间对齐的精度。本文提出了一种新的VSR方法——EvTexture,首次利用事件信号进行纹理增强,而非用于运动学习。EvTexture通过利用事件的高频细节来更好地恢复VSR中的纹理区域。在EvTexture中,我们引入了一个新的纹理增强分支,并进一步设计了一个迭代纹理增强模块,逐步探索高时间分辨率的事件信息以实现纹理修复。这使得纹理区域在多次迭代过程中逐渐得到精细化,从而生成更准确和丰富的高分辨率细节。实验结果表明,我们的EvTexture方法在四个数据集上均达到了最先进的性能。对于具有丰富纹理的Vid4数据集,我们的方法相比近期基于事件的方法最多可获得4.67dB的增益。代码:https://github.com/DachunKai/EvTexture。

代码仓库

dachunkai/evtexture
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
video-super-resolution-on-reds4-4x-upscalingEvTexture+
PSNR: 32.93
SSIM: 0.9195
video-super-resolution-on-reds4-4x-upscalingEvTexture
PSNR: 32.79
SSIM: 0.9174
video-super-resolution-on-vid4-4x-upscalingEvTexture+
PSNR: 29.78
SSIM: 0.8983
video-super-resolution-on-vid4-4x-upscalingEvTexture
PSNR: 29.51
SSIM: 0.8909

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
EvTexture:事件驱动的视频超分辨率纹理增强 | 论文 | HyperAI超神经