一句话总结

由清华大学、蚂蚁数字科技与蚂蚁集团提出，AgenticDataBench 是一个面向基于大语言模型的数据 agent 的综合基准，涵盖 15 个现实垂直领域并包含 B2B 金融科技用例，通过技能对齐的层次聚类从 Stack Overflow 提取代表性数据科学技能，以量化覆盖度并为代表性不足的领域生成真实任务，同时对最先进的 agent 进行细粒度技能级别评估。

核心贡献

• AgenticDataBench 是一个包含 344 个真实任务的综合基准，涵盖 15 个领域，每个任务带有细粒度数据科学技能标注，覆盖真实业务案例与生成场景。
• 一种结合大语言模型语义精炼的层次聚类方法从 6,510 个 Stack Overflow 解决方案中提取出 433 项代表性数据科学技能，实现了覆盖度量化与技能级基准设计。
• 在基准上对最先进数据 agent 的评估产生详细的技能级洞察，揭示了自主数据科学系统的性能模式与待解决的挑战。

引言

作者利用大语言模型自动化数据科学流水线，但现有针对这些数据 agent 的评估框架仅采用狭窄的任务类型和粗糙的聚合分数，掩盖了步骤级行为。以往的基准测试忽视了真实世界业务应用的复杂性，且未能提供细粒度的技能级性能洞察。为解决这一问题，作者提出了 AgenticDataBench，一个基于数据驱动的技能框架的综合基准，通过结合大语言模型语义精炼的层次聚类从数千个 Stack Overflow 解决方案中提取 433 项代表性技能。随后选择多样化的真实任务并生成技能覆盖度受控的额外任务，从而对数据 agent 的优势与不足进行详细的技能级分析。

数据集

作者构建了 AgenticDataBench，一个旨在通过 344 个真实数据科学任务评估基于大语言模型的数据 agent 的基准。每个实例包含任务描述、关联数据集、真实解决方案、一组所需数据科学技能以及任务专属评估函数。

数据集构成与来源

• 该基准结合了两个互补子集：
• 真实业务任务来自蚂蚁集团金融科技生态（商业银行、消费金融、保险、汽车、零售等）。
• 跨领域公开任务基于来自开放数据集的 58 个数据集构建（46 个 Kaggle、2 个 UCI ML、2 个 Mendeley 以及 8 个学术/政府来源，如 UCSD、NYC TLC、美国 BTS、OWID）。

子集 1：技能多样性任务筛选（102 个实例）

• 来源： 由 30 位领域专家从真实业务运营中整理的超 600 个匿名化复杂业务任务（600 多人时）。
• 过滤与筛选：
• 通过大语言模型为每个任务标注层次化数据科学技能树中的相关技能。
• 一种贪心多样性算法在既定预算下选择最大化工具体系技能覆盖度的任务，最终得到 102 个代表性任务。
• 专家对所选实例进行精炼，设计评估函数、验证数据隐私并打磨任务描述与技能标注。

子集 2：技能覆盖度驱动的任务生成（242 个实例）

• 来源： 58 个公开数据集，涵盖 10 个业务子集尚未覆盖的领域，选择标准为真实世界相关性、固有复杂性（大规模、异构格式、噪声）以及灵活的跨文件关联（共享属性、语义对应）。
• 生成流水线：
• 技能图： 通过合并从 Stack Overflow 解决方案和业务任务解决方案中提取的技能共现轨迹构建而成。节点与边的权重反映真实世界技能频率与依赖关系。
• 技能组合采样： 从图中采样路径，生成反映生产工作流的真实技能集合。
• 素材准备： 加载真实数据集，检索技能路径和与采样技能相关的少样本任务-解决方案示例。
• 任务创建： 基于大语言模型的流水线首先为每个数据集文件生成概要（基本信息、格式特定结构及跨文件关系）。然后合成由采样技能确定的基于技能的解决方案工作流，最后生成任务描述，并根据六个质量标准（可解性、技能必要性、简洁性、清晰性、可操作性、可验证答案）进行验证。
• 多样性促进： 动态惩罚已使用技能和参考示例的权重，以避免重复。
• 专家精炼： 8 位专家投入 960 人时验证正确性、调整数据源使用、精炼问题、设计评估函数并实现解决方案，最终产生 242 个完整实例。

数据使用

• 该数据集仅用作 评估基准，不用于模型训练。数据 agent 接收任务描述和数据集，其输出由实例专属评估函数（如归一化均方误差）评分。
• 不划分训练/验证/测试集；全部 344 个实例用于对 agent 进行排序，并支持对 agent 失败进行细粒度技能级分析。

数据处理与元数据

• 技能层次： 所有实例均与一个数据科学技能层次树关联（如“处理缺失数据”、“高效数据结构”），该树通过基于大语言模型的技能提取、聚类和大规模解决方案数据的递归抽象获得，并经人工整理。
• 数据探查： 公开数据集经过结构化探查，记录文件模式、列类型、缺失值、分隔符以及大语言模型识别出的跨文件关系。此元数据供任务生成流水线使用。
• 技能标注： 真实任务和生成任务均带有经专家验证的技能标签与技能使用轨迹，可用于覆盖度测量与多样性控制。

方法

作者引入一个多阶段流水线，从大量任务解决方案语料中提取紧凑且有代表性的数据科学技能集合。提取出的技能层次随后用于构建覆盖度和差异性可控的基准任务。该过程包含四个主要步骤。

步骤一：基于普通大语言模型的技能提取。 首先，作者从 Stack Overflow 收集 6,510 个数据科学任务-解决方案对，根据相关标签（如“data-science”、“data-analysis”）和质量信号（如被接受的答案或评分高于 3 分）进行筛选。由于许多解决方案涉及多项技能，通过提示大语言模型将每个解决方案分解为步骤推理链，每一步都描述一项独特的数据科学技能，同时保留可操作细节。连接起来的步骤应能忠实地重建原始解决方案。由此得到 29,602 个细粒度技能描述。然而，这些原始描述存在三个缺点：由于数量庞大导致可扩展性差；高度冗余，许多描述指向相同的基础技能；纠缠不清，即一项技能是一个包含另一项技能的高层次抽象。

步骤二：基于嵌入的技能聚类。 为应对冗余和纠缠，作者采用层次聚类策略。每个技能描述使用 Qwen3-Embedding 模型获得嵌入向量，然后应用 UMAP 降维同时保留局部流形结构。高斯混合模型（GMM）进行软聚类，允许一个技能关联多个父聚类。由于向量相似性可能被表面细节误导，后续将使用大语言模型精炼聚类。为使聚类规模适应大语言模型的上下文窗口，超出预定大小的聚类通过 GMM 递归拆分。

步骤三：基于大语言模型的技能聚类精炼。 对每个聚类，大语言模型推导出更高层次的技能抽象，并将原始低层描述归入其下，保留父子谱系。接着，为合并同义技能，将大语言模型生成的技能描述嵌入，并使用 DBSCAN 以严格的距离阈值聚类；同义组中最短的描述被选为规范表示。若所得顶层技能数量仍然过多，作者重复聚类-精炼循环。在此递归过程中，为每项技能创建摘要，通过用与该技能使用步骤具有最高平均余弦相似度的代表性解决方案步骤来扩充大语言模型描述。这些摘要被递归聚类，直至顶层技能数量降至阈值以下。

步骤四：技能层次精炼。 通过分析技能描述中的句法 token 集合进一步解决纠缠问题。若某一技能的 token 集合是另一个的子集，则假定更通用的技能包含特定的技能，并由其子技能替换，更新层次结构。最后，数据科学专家审查顶层技能，验证范围适当性、多样性、真实世界相关性及评估适用性。整个流程产生 433 项定义明确的顶层技能，作为基准构建的基础。

实验

评估在 344 项多样化的真实数据科学任务上对比了多种大语言模型与四种 agent 框架的组合。通用框架如 CodeX 总体上优于专用的 DA-Agent，但没有单一框架在所有领域均占优势；大语言模型与框架的兼容性显著影响性能，轻量级 agent 如 Smolagents 实现了更优的成本-性能平衡。技能级分析表明，所有 agent 都难以处理异构和非关系型数据，失败分析显示数据分析步骤导致最多错误，领域特定问题与数据规模和结构有关，而单纯延长执行预算并不能改善结果。

AgenticDataBench 包含 155 个真实业务任务和 433 个基于公开数据集的任务，涵盖众多领域。失败分析显示，数据分析错误占主导地位，而超时与自修复失败则表明大语言模型与 agent 框架之间集成不佳。在不同领域中，失败模式显著分化，受数据规模、文件格式和任务复杂度影响。数据分析错误是最常见的失败类别，尽管它并非调用最频繁的技能。全局限制超出、单步超时和自修复失败共同反映出较弱的大语言模型-框架集成。营销任务因反复加载大文件（约 1 GB），遭受最大比例的超时失败。医疗健康领域自修复失败率最高，因为 ARFF 等异构格式触发解析错误。贷款模型任务受数据建模失败影响最大，由宽表上复杂的特征工程驱动。增加时间预算并未提升得分，反而延长无效循环或误导推理。

AgenticDataBench 通过覆盖 433 项数据科学技能并纳入真实业务数据，拓展了数据 agent 评估的范围，解决了此前基准测试中任务类型狭窄和标签粗糙的问题。其任务拥有更长的解决方案代码和更大的数据量，反映了真实世界数据科学工作流的复杂性。现有基准测试仅提供少量任务标签和有限的数据模态，而 AgenticDataBench 提供细粒度的技能级标注，并支持包括脚本和数据库在内的多种模态。AgenticDataBench 覆盖 433 种不同技能，远超任何现有基准测试的技能覆盖度，并独特地结合了真实业务数据与公开数据集。AgenticDataBench 中的任务平均包含 113.6 行解决方案代码和每任务 493.4 MB 数据，显著长于且大于先前基准测试中的任务，表明任务复杂度更高。

各领域在数据规模和结构上差异显著：营销领域每个任务的文件极其庞大（3.3 GB），贷款模型则由许多小文件组成（共 121 个）且每个任务文件数量多，医疗健康领域包含异构格式。这些特征直接导致不同的 agent 失败模式：过大的文件引发超时，格式多样性导致自修复错误，复杂的特征工程则导致建模失败。营销领域每任务数 GB 的数据量导致全局限制超出和单步超时失败比例最高。医疗健康领域的异构数据格式（如 ARFF）因频繁解析错误而造成最高的自修复失败率。贷款模型任务中每个任务包含众多小文件且依赖复杂的特征衍生，使其最容易遭受数据建模失败。

在四个领域中，最频繁的技能（按 TF-IDF 计算）与最具挑战性的技能（大语言模型给出的得分最低）并不一致。代表性技能包括元数据审查、数据框管理和模型训练，而具有挑战性的技能如 SQL 优化、数据转换、统计检验和性能指标常涉及跨阶段或分析性操作。这些挑战性技能对应数据 agent 失效率高的类别，特别是数据分析和数据操作。在金融领域，元数据审查和查询构建频繁出现，但 SQL 优化和数据转换最为困难。对贷款模型任务，数据框列管理和模型训练较为常见，而数据比对、验证和统计检验最难。贷款风险分析频繁使用自定义值替换和辅助函数，但数据预处理和归一化是最具挑战性的技能。营销任务最常涉及模型训练，但性能指标和优化是得分最低的技能。

在 AgenticDataBench 上，生产级 agent 框架如 CodeX 和 Smolagents 优于轻量级的数据科学专用 DA-Agent。表现最佳的大语言模型因框架而异：Claude Sonnet 4.6 在 DA-Agent 和 Claude Code 中领先，Qwen3.5 在 Smolagents 中领先，Kimi-K2.5 在 CodeX 中领先。领域特定优势显现，Smolagents 在涉及大型单文件的营销任务上表现出色。CodeX 搭配 Kimi-K2.5、Smolagents 搭配 Qwen3.5 以及 Smolagents 搭配 Claude 4.6 是整体得分最高的三种 agent-大语言模型组合。Smolagents 达到最佳营销性能，其中许多任务处理约 1 GB 或更大的单数据文件。Claude 4.6 强大的编码能力使其成为 DA-Agent 和 Claude Code 中表现最好的大语言模型，而 Qwen3.5 对 Smolagents 提示的更好适应性则使其在该框架中领先。

AgenticDataBench 引入了一个涵盖 433 项技能并基于真实业务和大规模公开数据的广泛数据科学基准，揭示出数据分析错误主导失败，且文件大小、格式异质性和特征复杂性等领域特征驱动了不同的故障模式。大语言模型与 agent 框架之间集成不佳导致超时和自修复失败，延长的时间预算未能改善结果。在 agent 框架中，生产级系统如 CodeX 和 Smolagents 优于轻量级方案，Smolagents 在大文件营销任务上表现突出，而表现最佳的大语言模型因框架而异。