摘要

近期，视觉Transformer（Vision Transformers, ViTs）凭借其强大的建模能力以及大规模预训练的优势，在各类计算机视觉任务中展现出卓越的性能。然而，其在图像抠图（image matting）任务上尚未取得突破性进展。我们假设，ViT同样能够显著提升图像抠图的性能，并提出了一种高效且鲁棒的基于ViT的抠图系统——ViTMatte。本方法主要包含以下两个创新点：（i）采用融合卷积结构的混合注意力机制，结合轻量级卷积颈部（convolution neck），使ViT在抠图任务中实现了出色的性能与计算效率之间的平衡；（ii）进一步引入细节捕捉模块（detail capture module），该模块仅由简单的轻量级卷积构成，用于补充抠图任务所必需的精细纹理信息。据我们所知，ViTMatte是首个通过简洁适配方式充分挖掘ViT在图像抠图中潜力的工作。该方法继承了ViT的诸多优势，包括多样化的预训练策略、简洁的网络架构设计以及灵活的推理机制。在图像抠图领域最常用的两个基准数据集Composition-1k和Distinctions-646上进行的实验表明，ViTMatte达到了当前最优的性能水平，显著超越了以往各类抠图方法。