一句话总结

来自利兹大学、西南交通大学、华盛顿大学和艾伦人工智能研究所的研究人员引入了Agentic Abstention，这是一个在不确定性下何时停止行动的序列决策问题，在超过28,000个任务上评估了13个LLM-as-agent系统和2个agent scaffolds，并提出了CONVOLVE，一种将交互轨迹提炼为停止规则的上下文工程方法，将Llama-3.3-70B在WebShop上的及时召回率从$26.7$26.7提升至$57.4$57.4。

核心贡献

• Agentic Abstention被引入为一个序列决策问题，其中工具使用agent必须在每一轮面对不确定性时选择回答、弃权或收集更多信息。
• 一个涵盖网络购物、终端环境和问答的超过28,000个任务的基准测试评估了13个LLM-as-agent系统和2个agent scaffolds，表明及时弃权是一个持续的挑战：所有测试模型的平均及时召回率低于40%。
• 上下文工程方法CONVOLVE将完整的交互轨迹提炼为可重用的停止规则手册，不需要参数更新就提高了及时弃权能力，例如，在WebShop上将Llama-3.3-70B的及时召回率从26.7%提升到57.4%。

引言

本文作者探讨了工具使用agent的一个根本性弱点：无法识别任务不可行或模糊不清，并停止行动而不是进行浪费的探索。先前的工作主要集中在通过更好的规划、记忆和agent scaffolds来提高任务完成度，最近的努力虽然涉及不确定性和澄清，但从未将弃权作为一个序列的、环境驱动的决策来研究。agent经常在即使成功不可能的情况下仍持续交互，尤其是当任务最初看似可解，但经过多次行动后才暴露出不可行性时。为了填补这一空白，作者将Agentic Abstention形式化，其中agent必须随着上下文演变在行动、回答或弃权之间做出决定。他们构建了一个涵盖网络购物、终端使用和问答的超过28,000条指令的基准测试，评估了13个LLM-as-agent系统以及两个scaffolds。结果显示出及时弃权是一个严峻的挑战，最佳配置的平均及时召回率不到40%。随后，他们引入了CONVOLVE，一种上下文工程方法，从完整的交互轨迹中学习可重用的停止规则，并将其作为上下文指导提供。在网络购物中，CONVOLVE将及时召回率从26.7%提升到57.4%，整体召回率从83.2%提升到100.0%，无需任何参数更新。

数据集

作者在三个代表性场景中构建了用于agentic abstention的评估数据集。所有数据集仅用于评估模型识别何时不应尝试任务的能力，不涉及训练划分。

• 基于网络的决策（WebShop改编）

• 来源：WebShop测试集的前500条指令。

• 可解子集：原始500个可解任务保持不变。

• 不可解子集：500个新构建的需要弃权的任务，分为两种类型：

• 基于请求的弃权任务（249个任务）：原始指令由LLM重写为三种形式——主观偏好、意图不明确或错误前提/矛盾。所有重写都经过人工审核，过滤掉不自然或模糊不清的情况。

• 基于环境的弃权任务（251个任务）：原始指令保持不变，但目标物品从产品目录中移除，并重建Lucene搜索索引，使得不存在匹配产品。这些称为目标缺失任务。

• 最终大小：1,000个实例，可解/不可解平衡分布为1:1。

• 基于终端的任务执行（Terminal‑Bench 2.0改编）

• 来源：Terminal‑Bench 2.0的89个任务，每个任务带有自然语言指令、Docker化环境和验证测试。

• 可解子集：原始89个任务保持不变。

• 不可解子集：188个新构建的需要弃权的任务：

• 基于请求的弃权任务（167个任务）：指令使用双agent校正管道重写为错误前提/矛盾（87个任务）或意图不明确（80个任务）。重写agent提出改编后的指令，验证agent进行检查，无效重写最多进行三轮修订。所有最终指令都经过人工审核。

• 基于环境的弃权任务（21个任务）：手动修改环境，移除完成所需的前提条件（例如，文件、依赖项、权限或服务）；这些是前提缺失任务。

• 最终大小：277个实例（89个可解，188个不可解）。

• 交互式问答（AbstentionBench改编）

• 来源：AbstentionBench，一个用于回答或弃权决策的多数据集基准。作者保留了其中16个数据集，排除了那些通常可以通过搜索解决的问题。

• 组成：27,073个样本，包括可回答问题和需要弃权的问题，涵盖五个类别：答案未知、错误前提、主观、上下文不明确和意图不明确。

• 处理：每个QA实例被转换为一个序列决策问题。agent可以回答、弃权或发出搜索查询。为确保可重复性，检索针对enwiki‑20260101 Wikipedia转储执行，每次调用返回前3个文档，最多允许10次搜索调用。这不同于原始的单轮静态提示设置。

作者仅将这些数据集用于评估。网络和终端数据集测试模型仅从请求中或在与环境交互后识别不可行性的能力，而QA数据集则考察带有搜索的序列决策。由于论文侧重于评估，未描述训练数据或混合比例。

方法

作者将Agentic Abstention定义为agent识别任务不可行并及时弃权，而不是错误回答或采取不必要行动的能力。这一概念被形式化为一个部分可观测马尔可夫决策过程（POMDP），记作$\mathcal{M} = (S, \mathcal{A}, \mathcal{O}, T, \Omega, R)$M=(S,A,O,T,Ω,R)。这里，$S$S表示潜在的任务状态，包括不可观测的属性，例如在给定上下文和工具下任务是否可解决。动作空间定义为$\mathcal{A} = \{\text{ANSWER}, \text{ABSTAIN}, \text{ACT}\}$A={ANSWER,ABSTAIN,ACT}，其中ANSWER表示终止任务完成动作，ABSTAIN表示在当前信息状态下停止的终止决定，ACT表示收集额外信息的非终止外部动作。在每一轮$t$t，agent接收观察$o_t \in \mathcal{O}$ot​∈O，并根据交互历史$h_t$ht​使用基于历史的策略$\pi(a_t \mid h_t)$π(at​∣ht​)选择动作。如果agent选择ACT，交互继续；如果选择ANSWER或ABSTAIN，回合终止。要求用户澄清的请求也被视为ABSTAIN的实例。

为了改进agentic abstention，作者提出了CONVOLVE（Context Evolution），一个从多步交互轨迹中学习的框架。CONVOLVE不仅从最终答案中学习，还分析完整的环境回放，将其提炼为可重用的停止规则，并添加到agent的上下文以供未来回合使用。令$c^{(k)}$c(k)表示第$k$k个回合后可用的演变上下文。对于每个训练回合，agent与环境交互生成轨迹$\tau^{(k)} = (x^{(k)}, o_1^{(k)}, a_1^{(k)}, \dots, o_{T_k}^{(k)}, a_{T_k}^{(k)})$τ(k)=(x(k),o1(k)​,a1(k)​,…,oTk​(k)​,aTk​(k)​)。回合结束后，一个反思agent分析轨迹，以提取回合级反馈$y^{(k)} = \phi(\tau^{(k)})$y(k)=ϕ(τ(k))，捕捉与弃权相关的信号。然后上下文更新为$c^{(k+1)} = \mathcal{U}(c^{(k)}, \tau^{(k)}, y^{(k)})$c(k+1)=U(c(k),τ(k),y(k))，其中$\mathcal{U}$U是上下文更新算子。

作者在WebShop的一个纯弃权子集上实例化了CONVOLVE，但该框架依赖于跨不同环境精心构建的需要弃权的任务。对于基于终端的任务执行，每个改编任务包含一个容器化环境、一条指令、验证测试和一个参考解决方案。原始指令被重写以创建不可行的请求，例如包含错误前提或意图不明确的请求。

如下图所示：

这种改编过程产生了任务，其中弃权成为正确的行动，要么在请求时立即执行，要么在与环境交互后执行。在CONVOLVE训练过程中，环境回放是将学习到的策略手册附加到系统提示后进行的。每次回放后，反思模型审查完整轨迹以识别信号，例如agent在任务变得不可行后是否继续行动。然后，策展模型将这种反思转化为简洁的策略手册更新，组织成固定部分以保持演变上下文的结构化。为防止上下文溢出，策展输入被确定性截断，策略手册预算有上限。该框架在留出集上使用与回放相同的模型进行评估，与没有策略手册注入的基线进行比较。

实验

评估在web、terminal和QA场景中评估基于LLM的agent，衡量其对不可行任务的弃权能力，指标包括弃权召回率（AbsRec@K）和过度弃权率。及时弃权在所有设置中都证明困难，大多数模型无法早期识别不可行性，且性能因弃权类别和agent scaffold差异很大。模型规模提高了最终召回率，但未提高及时性，而更强的推理能力可以减轻过度弃权，但无法可靠地提升及时识别。上下文工程方法CONVOLVE仅使用20条训练轨迹就显著增强了弃权能力，并且从小模型学到的经验能有效迁移到大模型。

CONVOLVE展示了强大的数据效率，仅使用20条轨迹在WebShop上改进agentic abstention。上下文学习帮助大模型，但可能损害小模型，而小模型学到的经验有效迁移到大模型，几乎与自我博弈收益相当。Llama-3.3-70B学到的策略手册将Llama-3.3-8B的及时召回率从6.9提升到12.9，同时保持整体召回率和SPL。8B模型的上下文学习提高了及时召回率，但导致整体召回率下降10.0个百分点，显示出可靠性权衡。将8B模型的经验迁移到70B模型，及时召回率从26.7提升到55.3，整体召回率从83.2提升到99.0，接近70B自我学习的结果57.4 / 100.0。所有训练变体仅依赖20条交互轨迹，展示了高数据效率。

CONVOLVE展示了强大的数据效率，仅需20条轨迹即可学习策略手册。上下文学习证明对大模型有益，但可能损害小模型，而将小模型学到的策略手册迁移到大模型几乎匹配大模型自身的自我博弈增益。大模型的策略手册提升小模型的及时召回率，对整体召回率影响极小，避免了上下文学习带来的可靠性权衡。总体而言，这种跨模型迁移在保持数据效率的同时实现了显著改进。