摘要

通过强化学习（RL）训练大型多模态模型（LMMs）以原生调用视频处理工具（例如裁剪），已成为实现长视频理解的一条有前景的途径。然而，现有的原生RL方法按顺序分发工具调用（即每轮一次）：单个错误的裁剪会传播错误且缺乏同伴纠正，多轮工具调用会破坏上下文，且推理成本随轮数线性增长。我们引入了ParaVT，这是首个经过端到端RL训练的多agent并行视频工具调用框架，它在一轮中分发多个时间窗口的裁剪，从而提供更清晰的上下文和更好的容错能力。然而，将标准RL应用于ParaVT揭示了一个我们称为“工具先验悖论”（Tool Prior Paradox）的障碍：使工具探索成为可能的预训练工具先验也会破坏冷启动的结构格式，并在温度采样下暴露出跳过工具奖励捷径。在具有较弱先验的LMM上进行的跨模型对比支持了这一观点：格式保持稳定，但RL引发了零工具调用，表明先验强度是格式崩溃和工具探索的共同驱动因素。我们提出了PARA-GRPO（可解析性锚定与比率门控GRPO），它通过两种互补机制增强标准RL：（i）仅在最容易发生崩溃的结构token位置应用针对性的格式奖励；（ii）针对每个prompt的帧预算随机化，生成训练prompt，使得调用工具比跳过工具产生可测量的奖励信号。在六个长视频理解基准测试中，ParaVT相比Qwen3-VL基线平均提升了7.9%，而PARA-GRPO将训练期间的格式合规率从0.13提升至0.64。随着工具能力日益内化于现代LMMs中，RL必须与由此产生的先验相协作，而ParaVT为agent式RL提供了一般性方案。代码、数据和模型权重已公开可用。

和`）添加针对性奖励来修复结构边界，确保展开保持可解析。同时，nFrames 门控随机化每个提示提供给模型的概览帧数量。通过减少概览预算，模型被迫使用工具调用来检索必要的视觉证据，在工具使用和跳过工具的展开之间创建非平凡的奖励对比，这是标准 GRPO 否则可能错过的。最终奖励函数结合了准确性、格式合规性（包括锚定奖励）以及工具块的可解析性奖励。

一句话总结

该研究在六个长视频基准测试上评估 ParaVT，使用统一协议比较不同训练范式下与开源基线的性能。结果表明，该模型超越了可比的开源系统，并在时间定位和长视频推理方面缩小了与专有参考的差距。消融实验验证了 PARA-GRPO 训练配方对于稳定输出格式和工具使用至关重要，成功防止了标准强化学习中典型的格式崩溃，同时实现了稳健的代理视频理解。

该表通过跟踪不同训练配置下推理、工具调用和答案标签的闭合率，评估强化学习期间的格式合规性。结果表明，标准强化学习方法导致结构依从性崩溃，而提出的 PARA-GRPO 方法有效恢复并超过初始冷启动性能以维持所需的输出格式。与 RL 前基线相比，Vanilla GRPO 导致标签闭合率急剧下降。PARA-GRPO 稳定了格式使用，在第 19 步时所有三个结构标签的闭合率均达到最高。移除锚定组件会导致性能最差，突显了其在维持格式完整性方面的必要性。

该表呈现了评估 PARA-GRPO 框架在训练阶段、组件有效性和调度模式方面的消融研究。结果表明，完整配置通过平衡格式合规性和工具使用来稳定训练动态，显著优于 Vanilla GRPO 和单个组件变体。完整的 PARA-GRPO 配方实现了最高的格式奖励和平衡的工具使用，解决了基线方法中看到的过度使用和过度使用极端。探索锚定和 nFrames 门控都是关键组件，因为移除任一组件都会导致格式稳定性或工具探索下降以及评估分数降低。并行工具调用在所有基准测试中始终优于顺序调用，确立了其作为首选推理策略的地位。

作者在七个不同的基准测试上评估 ParaVT-8B 与一系列专有和开源视频语言模型。结果表明，ParaVT 始终优于可比的开源基线，并在长视频推理任务上达到媲美或超过专有模型的性能水平。在七个评估分割中的六个中，ParaVT-8B 在开源 7-8B 模型中实现了最佳性能。该方法在包括 LVBench 和 MMVU 在内的特定推理基准测试上超越了 GPT-4o 和 Gemini 1.5 Pro 等专有参考。ParaVT 在时间定位方面表现出显著改进，在所有列出的模型中在 Charades-STA 测试上达到最高分数。

评估强化学习期间格式合规性的实验表明，标准方法导致结构崩溃，而 PARA-GRPO 方法有效恢复输出完整性。消融研究进一步证实，像探索锚定和并行工具调用这样的组件对于稳定训练和平衡工具使用至关重要。最后，比较基准测试显示 ParaVT-8B 超越了开源基线，并在长视频推理和时间定位任务上与专有模型相媲美。

源 PDF 查看代码