摘要

在本工作中，我们探索了一种可扩展的方法，用于构建面向无限模态的通用表征模型。我们发布了 ONE-PEACE，这是一个参数量达 40 亿的高可扩展性模型，能够无缝对齐并融合视觉、音频与语言等多种模态的表征。ONE-PEACE 的架构由模态适配器（modality adapters）、共享的自注意力层（shared self-attention layers）以及模态前馈网络（modality FFNs）组成。该设计使得通过添加新的适配器和前馈网络即可轻松扩展支持新模态，同时借助自注意力层实现多模态信息的有效融合。为预训练 ONE-PEACE，我们设计了两项与模态无关的预训练任务：跨模态对齐对比学习（cross-modal aligning contrast）与模态内去噪对比学习（intra-modal denoising contrast）。这两项任务能够同时实现不同模态间语义空间的对齐，并捕捉各模态内部的细粒度特征。得益于其具备良好扩展性的架构与预训练策略，ONE-PEACE 具备向无限模态扩展的潜力。值得注意的是，ONE-PEACE 在初始化阶段未使用任何预训练的视觉或语言模型，却在多种单模态与多模态任务上取得了领先性能，涵盖图像分类（ImageNet）、语义分割（ADE20K）、音频-文本检索（AudioCaps、Clotho）、音频分类（ESC-50、FSD50K、VGGSound）、音频问答（AVQA）、图像-文本检索（MSCOCO、Flickr30K）以及视觉定位（RefCOCO/+/g）等任务。相关代码已开源，地址为：https://github.com/OFA-Sys/ONE-PEACE。