摘要

基于流的传播（flow-based propagation）与时空Transformer（spatiotemporal Transformer）是视频修复（Video Inpainting, VI）领域的两种主流机制。尽管这些组件在实际应用中表现出色，但仍存在若干限制因素，影响其整体性能。以往基于传播的方法通常在图像域或特征域中独立进行，缺乏统一性。其中，仅在图像域进行全局传播且与学习过程分离，容易因光流估计不准确而导致空间错位问题。此外，内存或计算资源的限制也制约了特征传播和视频Transformer的时序范围，使其难以有效利用远距离帧之间的对应关系。为解决上述问题，本文提出一种改进框架——ProPainter，该框架集成了增强型传播机制与高效视频Transformer。具体而言，我们引入了双域传播（dual-domain propagation）机制，融合图像域与特征域的变形优势，从而更可靠地建模全局对应关系。同时，我们设计了一种基于掩码引导的稀疏视频Transformer，通过剔除冗余且不必要的token，显著提升计算效率。得益于上述设计，ProPainter在PSNR指标上相较现有方法取得了高达1.46 dB的提升，同时保持了优异的运行效率。