摘要

视频问答任务要求模型能够理解并推理复杂的视频与语言数据，从而准确推导出答案。现有方法主要致力于设计复杂的跨模态交互机制，以融合来自视频与语言两种模态的信息，并将视频和问题分别编码为帧序列与词序列。尽管这些方法取得了显著成果，但其本质仍局限于视频与问题内容的顺序性特征，难以深入揭示问答任务的本质，且缺乏可解释性。在本研究中，我们提出：虽然视频以帧序列的形式呈现，但其中的视觉元素（如物体、动作、活动与事件）在语义空间中并非顺序排列，而是具有层次性结构。为与语言查询中多粒度语义概念的本质相匹配，我们提出将视频建模为一种条件图层次结构，通过对应文本线索的引导，以分层方式整合不同粒度的视觉事实。尽管该架构设计简洁，但大量实验结果表明，该条件层次图结构在性能上显著优于现有方法，不仅在各类问题类型上均展现出更强的泛化能力，且模型输出具有更高的可靠性——进一步分析显示，模型能够为预测答案提供具有意义的视觉-文本证据，显著增强了决策过程的可解释性。