提出在AI agent执行任务前先权衡“如何进行”的元推理技术

研究背景

AI agent通过多个步骤解决漫长而复杂的问题，每个步骤都需要做出执行控制决策，例如继承哪些中间结果、是否从头重新开始以及何时结束。摘要解释称，这种控制本身正在成为一个重要的课题。

方法

研究人员采用了分工设计：负责实际执行任务的“worker（工作者）”，以及负责整理进展、探索后续选项、在剩余预算内评估价值并分配任务的“controller（控制器）”。控制器无需每次都重新阅读全部历史记录，而是仅维护一份总结执行情况的简短信息，所需上下文则从持久内存中获取。对比组包括商业编码agent、研究用harness以及使用相同工作者和计算预算的直接控制agent。

主要结果

在ProgramBench之外的抽象推理、跨领域长期推理以及证明生成基准测试中，采用三个最先进模型的平均分比直接控制方法高出3.6至4.2分。在测试的预算范围内，直接控制的性能陷入停滞，而元推理则持续改进。任务输出图表分析显示，对以往任务的重用有所增加，并且在大多数环境中，正确解法的覆盖范围变得更广。

局限与待确认之处

根据摘要，当计算预算较小时，由于控制技术本身的额外开销，性能反而可能会变差。仅凭摘要无法确认成本结构、实验可复现性以及实际商业服务的应用可行性。

术语解释

• agent(Agent) — 一种无需人类逐一指示即可自行规划并执行多阶段任务的AI系统。
• 元推理(Meta-reasoning) — 不是直接解决问题，而是预先判断并选择以何种方式解决问题的高阶思考。
• 推理时(Inference-time) — 指AI模型完成训练后，实际生成回答的阶段。
• 基准测试(Benchmark) — 为以相同标准比较多个AI模型的性能而制作的测试题集合。
• harness(Harness) — 指包裹并控制执行流程与工具以使AI模型执行任务的框架。