摘要

Transformer在计算机视觉领域取得了巨大成功，然而图像块（patch）的划分方式仍是一个待解决的问题。现有方法通常采用固定尺寸的图像块嵌入，这可能导致物体语义信息的破坏。为解决这一问题，我们提出一种新型可变形图像块（Deformable Patch, DePatch）模块，该模块能够以数据驱动的方式自适应地将图像划分为位置和尺度各不相同的图像块，而非依赖预定义的固定图像块。通过这种方式，我们的方法能够更好地保留图像块中的语义信息。DePatch模块具有即插即用的特性，可轻松集成到各类Transformer架构中，实现端到端的联合训练。我们将嵌入DePatch模块的Transformer称为基于可变形图像块的Transformer（Deformable Patch-based Transformer, DPT）。我们在图像分类与目标检测任务上对DPT进行了广泛评估。实验结果表明，DPT在ImageNet图像分类任务上达到了81.9%的Top-1准确率，在MSCOCO目标检测任务上，分别以RetinaNet和Mask R-CNN作为检测头，取得了43.7%和44.3%的box mAP。相关代码已开源，地址为：https://github.com/CASIA-IVA-Lab/DPT。