摘要
视觉-语言预训练（VLP）在各种联合视觉-语言下游任务中提高了性能。目前的VLP方法严重依赖于图像特征提取过程，其中大多数涉及区域监督（例如，目标检测）和卷积架构（例如，ResNet）。尽管文献中对此较少关注，但我们发现这种方法在效率/速度和表达能力方面存在问题：(1) 效率/速度方面，仅提取输入特征所需的计算量就远超多模态交互步骤；(2) 表达能力方面，其上限受制于视觉嵌入器及其预定义的视觉词汇表。在本文中，我们提出了一种最小化的VLP模型——视觉-语言变压器（ViLT），该模型在处理视觉输入时进行了大幅简化，采用了与处理文本输入相同的无卷积方式。实验结果表明，ViLT比之前的VLP模型快数十倍，同时在下游任务性能上具有竞争力或更优。我们的代码和预训练权重可在https://github.com/dandelin/vilt 获取。
代码仓库
guilk/vlc
pytorch
GitHub 中提及
glamor-usc/climb
pytorch
GitHub 中提及
huggingface/transformers
pytorch
GitHub 中提及
dandelin/vilt
官方
pytorch
GitHub 中提及
wglab/gestaltmml
pytorch
GitHub 中提及
wglab/gestaltmml-gestaltgpt
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| cross-modal-retrieval-on-coco-2014 | ViLT-B/32 | Image-to-text R@1: 61.5 Image-to-text R@10: 92.7 Image-to-text R@5: 86.3 Text-to-image R@1: 42.7 Text-to-image R@10: 83.1 Text-to-image R@5: 72.9 |
| cross-modal-retrieval-on-flickr30k | ViLT-B/32 | Image-to-text R@1: 83.5 Image-to-text R@10: 98.6 Image-to-text R@5: 96.7 Text-to-image R@1: 64.4 Text-to-image R@10: 93.8 Text-to-image R@5: 88.7 |
| image-retrieval-on-photochat | ViLT | R1: 11.5 R@10: 25.6 R@5: 33.8 Sum(R@1,5,10): 71.0 |
| multimodal-intent-recognition-on-mmdialog | ViLT | F1: 55.8 |
| multimodal-intent-recognition-on-photochat | ViLT | F1: 52.4 Precision: 55.4 Recall: 58.9 |
| visual-question-answering-on-vqa-v2-test-dev | ViLT-B/32 | Accuracy: 71.26 |
| visual-reasoning-on-nlvr2-dev | ViLT-B/32 | Accuracy: 75.7 |
| visual-reasoning-on-nlvr2-test | ViLT-B/32 | Accuracy: 76.13 |
| zero-shot-cross-modal-retrieval-on-coco-2014 | ViLT-B/32 | Image-to-text R@1: 56.5 Image-to-text R@10: 89.6 Image-to-text R@5: 82.6 Text-to-image R@1: 40.4 Text-to-image R@10: 81.1 Text-to-image R@5: 70 |
| zero-shot-cross-modal-retrieval-on-flickr30k | ViLT-B/32 | Image-to-text R@1: 73.2 Image-to-text R@10: 96.5 Image-to-text R@5: 93.6 Text-to-image R@1: 55 Text-to-image R@10: 89.8 Text-to-image R@5: 82.5 |