摘要

我们提出了一种通过生成简短的程序化指令来回答视频零样本问题的方法，这些程序通过依次解决一系列视觉子任务，最终推导出答案。为此，我们提出了程序化视频查询框架（Procedural Video Querying, ProViQ），该框架利用大型语言模型，根据输入问题和提示中提供的视觉模块API，生成相应的程序，并执行这些程序以获得输出。尽管近期类似的程序化方法在图像问答任务中已取得成功，但视频理解仍面临较大挑战。为此，我们为ProViQ配备了专为视频理解设计的视觉模块，使其能够广泛泛化至各类视频数据。该代码生成框架还使ProViQ具备执行多种视频任务的能力，而不仅限于问答，例如多目标跟踪或基础视频编辑。在多种多样化的基准测试中，ProViQ均取得了当前最优性能，其在短时、长时、开放式及多模态视频问答数据集上的准确率提升最高达25%。项目主页详见：https://rccchoudhury.github.io/proviq2023。