
摘要
基于事件的视觉技术因其独特的特性,如高时间分辨率和高动态范围,近年来受到了越来越多的关注。最近,该技术已被应用于视频超分辨率(VSR)中,以提高光流估计和时间对齐的精度。本文提出了一种新的VSR方法——EvTexture,首次利用事件信号进行纹理增强,而非用于运动学习。EvTexture通过利用事件的高频细节来更好地恢复VSR中的纹理区域。在EvTexture中,我们引入了一个新的纹理增强分支,并进一步设计了一个迭代纹理增强模块,逐步探索高时间分辨率的事件信息以实现纹理修复。这使得纹理区域在多次迭代过程中逐渐得到精细化,从而生成更准确和丰富的高分辨率细节。实验结果表明,我们的EvTexture方法在四个数据集上均达到了最先进的性能。对于具有丰富纹理的Vid4数据集,我们的方法相比近期基于事件的方法最多可获得4.67dB的增益。代码:https://github.com/DachunKai/EvTexture。
代码仓库
dachunkai/evtexture
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| video-super-resolution-on-reds4-4x-upscaling | EvTexture+ | PSNR: 32.93 SSIM: 0.9195 |
| video-super-resolution-on-reds4-4x-upscaling | EvTexture | PSNR: 32.79 SSIM: 0.9174 |
| video-super-resolution-on-vid4-4x-upscaling | EvTexture+ | PSNR: 29.78 SSIM: 0.8983 |
| video-super-resolution-on-vid4-4x-upscaling | EvTexture | PSNR: 29.51 SSIM: 0.8909 |