摘要

鉴于近期在多模态大语言模型（LLMs）方面的进展，越来越多的研究关注将其从图像-文本数据扩展到更具信息量的真实世界视频。与静态图像相比，视频因其时空动态特性而在大规模预训练中带来了独特的挑战。本文中，我们通过一种高效的视频分解方法来解决视频-语言预训练中的这些限制，该方法将每个视频表示为关键帧和时间运动。然后，我们使用精心设计的分词器将视觉和时间信息离散化为少量的标记，从而实现对视频、图像和文本的统一生成式预训练。在推理阶段，从大语言模型生成的标记被仔细恢复到原始连续像素空间，以创建各种视频内容。我们的框架不仅能够理解和生成图像及视频内容，而且在13个涉及图像和视频理解与生成的多模态基准测试中表现出色。我们的代码和模型可在 https://video-lavit.github.io 获取。