摘要

视觉-语言预训练（VLP）在多种跨模态任务中展示了令人印象深刻的表现，其中无需依赖对象检测器的VLP模型由于其卓越的计算效率和竞争力而逐渐成为主流。然而，去除对象检测器也剥夺了VLP模型在显式对象建模方面的能力，这对于各种位置敏感的视觉-语言（VL）任务（如指代表达理解与视觉常识推理）至关重要。为了解决这一挑战，我们引入了PEVL，该方法通过显式的对象位置建模来增强VLP模型的预训练和提示调优。具体而言，PEVL在一个统一的语言建模框架中重新定义了离散化的对象位置和语言，这不仅有助于在预训练过程中实现显式的VL对齐，还能够灵活地进行下游任务的提示调优。我们展示了PEVL使得无检测器的VLP模型在指代表达理解、短语定位等位置敏感任务上达到了最先进的性能，并且在输入带有位置信息的位置不敏感任务上也提升了表现。本文的数据和代码已公开发布于https://github.com/thunlp/PEVL。