摘要

组合泛化对于人工智能代理解决复杂的视觉-语言推理任务至关重要。神经符号方法在捕捉组合结构方面展现出巨大潜力，但仍面临三大关键挑战：（a）依赖预定义的谓词进行符号化表示，限制了系统的适应性；（b）从原始数据中提取谓词存在困难；（c）在组合基本概念时使用非可微操作。为应对这些问题，我们提出NeSyCoCo——一种新型神经符号框架，该框架利用大规模语言模型（LLMs）生成符号表示，并将其映射为可微的神经计算过程。NeSyCoCo引入三项创新：（a）通过增强自然语言输入的依存结构，提升其与符号表示之间的对齐能力；（b）采用分布式词向量表示，将多种语言学动机驱动的逻辑谓词与神经模块建立关联；（c）通过归一化谓词得分的软组合机制，实现符号推理与可微推理之间的有效对齐。实验结果表明，该框架在ReaSCAN和CLEVR-CoGenT两个组合泛化基准测试中达到当前最优性能，并在CLEVR-SYN基准测试中展现出对新概念的强鲁棒性。