研究人员提出了通过代码执行来评估AI回答监督方法的框架

研究背景

推理模型虽然能够解决难题，但有时倾向于选择成本较低但可能会出错的捷径。正因为如此，即使答案看起来很合理，判断该答案是否值得信赖的监督问题变得尤为重要。

方法

研究人员将经过插桩以记录执行过程的Python程序作为可验证的基础。程序定义了任务环境，执行记录为结果和中间事实提供了标准答案。研究人员生成了约100万条执行记录和50万个以上的LLM生成代码变体，用于反事实评估，并通过基于可验证奖励的强化学习训练了遵循捷径的模型。

主要结果

遵循捷径的模型在执行结果预测方面显著提升，但当呈现给人类的误导性线索与实际执行不符时，依然表现出系统性错误。对比了激活探针、文本分类器、基于提示词的判定器以及简单的辩论协议等监督者，并指出数据集的整体平均性能可能会掩盖重要失败类型的低捕获率。低成本的学习型监督者经常漏掉罕见的捷径错误，而基于模型的检查虽然更加平衡，但成本要高得多，且难以将其转化为可靠的基于阈值的判断。

局限与待确认之处

摘要主要集中于v1实验和框架的提出，无法确认其实际工作或生产环境中的性能。成本的具体数值以及各监督者准确率等详细数据也未在摘要中列出。

术语解释

• 推理模型 — 逐步思考问题并寻找答案的AI模型。
• 捷径 — 不经过准确步骤而快速得出答案但可能会出错的方法。
• 监督 — 人类或其他系统检查AI回答并判断是否值得信赖的工作。
• 执行记录 — 程序在运行过程中逐阶段留下的记录。
• 反事实评估 — 在改变部分条件时观察结果如何变化的评估方法。
• 验证able奖励强化学习 — 通过自动验证正误并给予奖励来训练模型的方法。
• 激活探针 — 用于读取模型内部信号以了解特定状态的小型分析工具。
• 辩论协议 — 让两个AI通过交流观点来辅助判断的程序。
• 基于阈值的决定 — 根据分数是否超过既定基准线来决定通过与否的方法。